ट्रांसफॉर्मर्स के बाद क्या आता है? -- डीप लर्निंग में विचारों को जोड़ने वाला एक चयनात्मक सर्वेक्षण

2017 के बाद से ट्रांसफॉर्मर्स कृत्रिम बुद्धिमत्ता में डि-फैक्टो मानक मॉडल बन गए हैं, भले ही इनमें ऊर्जा की अक्षमता से लेकर भ्रांतियों तक कई कमियाँ हों। शोध ने ट्रांसफॉर्मर्स के तत्वों में सुधार करने में और अधिक व्यापक रूप से डीप लर्निंग में आर्किटेक्चर, परतों, अनुकूलन उद्देश्यों और अनुकूलन तकनीकों के लिए कई प्रस्तावों के रूप में काफी प्रगति की है। शोधकर्ताओं के लिए व्यापक स्तर पर ऐसे विकास की निगरानी करना कठिन है। हम उन लोगों को जो डीप लर्निंग की बुनियादी समझ रखते हैं, इन क्षेत्रों में कई महत्वपूर्ण, हालिया कार्यों का एक व्यापक अवलोकन प्रदान करते हैं। हमारा फोकस अन्य कार्यों से अलग है, क्योंकि हम विशेष रूप से ट्रांसफॉर्मर्स के लिए नवीन, वैकल्पिक संभावित विघटनकारी दृष्टिकोण तथा हाल की सफल डीप लर्निंग के विचारों को लक्षित करते हैं। हमें आशा है कि प्रभावशाली, हालिया कार्यों और नवीन विचारों का ऐसा समग्र और एकीकृत उपचार शोधकर्ताओं को डीप लर्निंग के विविध क्षेत्रों के बीच नए संबंध बनाने में मदद करेगा। हम कई पैटर्न की पहचान करते हैं और चर्चा करते हैं जो पिछले दशक में सफल नवाचारों की मुख्य रणनीतियों का सार प्रस्तुत करते हैं, साथ ही उन कार्यों को भी जो उभरते सितारों के रूप में देखे जा सकते हैं। विशेष रूप से, हम ट्रांसफॉर्मर्स में सुधार के प्रयासों पर चर्चा करते हैं, जिनमें आंशिक रूप से सिद्ध तरीकों जैसे राज्य स्थान मॉडल शामिल हैं, साथ ही डीप लर्निंग में दूर-दूर तक फैली हुई विचारधाराएं जो राज्य-कलात्मक परिणाम प्राप्त न करने के बावजूद आशाजनक लगती हैं। हम हाल के अत्याधुनिक मॉडल जैसे OpenAI के GPT श्रृंखला, Meta के LLama मॉडल और Google के Gemini मॉडल परिवार पर भी चर्चा करते हैं।