NVIDIA Triton Inference Server के साथ साझा कंप्यूटिंग सुविधाओं पर ग्राफ न्यूरल नेटवर्क्स पर उच्च-थ्रूपुट अनुमान का अनुकूलन

सार मशीन लर्निंग अनुप्रयोग अब विभिन्न गणना कार्यों में फैल गए हैं, बहु-उपयोगकर्ता साझा कंप्यूटिंग सुविधाएँ ऐसी एल्गोरिदम के लिए अपने संसाधनों के तेजी से बढ़ते अनुपात को समर्पित कर रही हैं। उदाहरण के लिए, ग्राफ न्यूरल नेटवर्क्स (GNNs) ने डेटा से जटिल हस्ताक्षरों को निकालने में आश्चर्यजनक सुधार प्रदान किए हैं और अब उच्च ऊर्जा भौतिकी (HEP) जैसे विभिन्न अनुप्रयोगों में व्यापक रूप से उपयोग किए जाते हैं। हालांकि, GNNs के साथ एक बड़ा गणनात्मक दंड भी आता है, जो उचित थ्रूपुट बनाए रखने के लिए GPUs के उपयोग की आवश्यकता होती है। साझा कंप्यूटिंग सुविधाओं पर, जैसे कि फर्मी नेशनल एक्सेलेरेटर प्रयोगशाला (फर्मिलैब) में भौतिकविदों द्वारा उपयोग की जाने वाली सुविधाएँ, संसाधनों का व्यवस्थित आवंटन और कई उपयोगकर्ताओं के स्तर पर उच्च थ्रूपुट सुनिश्चित करने के लिए कुंजी हैं कि संसाधनों का उपयोग अधिकतम दक्षता के साथ किया जा रहा है। हालांकि, ये सुविधाएँ मुख्य रूप से केवल CPU-नोड प्रदान करती हैं, जो मशीन लर्निंग अनुमान को शामिल करने वाले वर्कफ़्लोज़ के लिए अंतर्दृष्टि और गणनात्मक थ्रूपुट के लिए हानिकारक साबित होती हैं। इस काम में, हम वर्णन करते हैं कि कैसे एक साझा कंप्यूटिंग सुविधा NVIDIA Triton Inference Server का उपयोग करके अपने संसाधन आवंटन और कम्प्यूटिंग संरचना का अनुकूलन कर सकती है, उच्च थ्रूपुट को पुनर्प्राप्त करते हुए और कई उपयोगकर्ताओं के लिए मशीन लर्निंग अनुमान को विशाल गति से समांतर बनाते हुए। इस प्रणाली की एक यथार्थवादी बहु-उपयोगकर्ता वातावरण में प्रभावशीलता को प्रदर्शित करने के लिए, हम हEP-विशिष्ट GNN तक स्केलेबल और उच्च-थ्रूपुट पहुंच प्रदान करने के लिए Triton Inference Server के साथ फर्मिलाब इलास्टिक एनालिसिस फैसिलिटी का उपयोग करते हैं और परिणाम की रिपोर्ट करते हैं।