ट्रांसफॉर्मर्स पुनःावलोकन: वास्तुकला, ध्यान, और सीमाएं

ट्रांसफॉर्मर्स अब आधुनिक कृत्रिम बुद्धिमत्ता में प्रमुख वास्तुकला हैं। 2017 में Vaswani et al. द्वारा प्राकृतिक भाषा प्रसंस्करण के संदर्भ में प्रस्तुत किए गए, इन्होंने कंप्यूटर विज़न, संगीत उत्पादन, बायोइन्फोर्मेटिक्स और कई अन्य क्षेत्रों में क्रांति ला दी है। इस पेपर में उनकी वास्तुकला का प्रगतिशील और वैचारिक विश्लेषण प्रस्तुत किया गया है, जिसमें ध्यान तंत्र से लेकर आधुनिक स्थानिक एन्कोडिंग (RoPE, ALiBi) के साथ उन्नत प्रशिक्षण विधियाँ (RLHF, instruction tuning) और हाल की अनुकूलन तकनीकें (FlashAttention, sparse attention) शामिल हैं। मौलिक सीमाओं और उभरते विकल्पों (state space models, Mamba) की भी समीक्षा की गई है ताकि अनुक्रम मॉडलिंग के परिदृश्य की एक पूर्ण और अद्यतित तस्वीर प्रस्तुत की जा सके।