البرمجة من خلال التوجيه: لغة استعلام لنماذج اللغة الكبيرة

لقد أظهرت نماذج اللغة الكبيرة أداءً متميزًا في مجموعة واسعة من المهام مثل الإجابة على الأسئلة وتوليد الأكواد البرمجية. على مستوى عالٍ، يمكن استخدام نموذج اللغة لإكمال التسلسل تلقائيًا بطريقة إحصائية محتملة بناءً على مدخل معين. استنادًا إلى هذا، يقوم المستخدمون بتوجيه هذه النماذج بتعليمات لغوية أو أمثلة، لتنفيذ مجموعة متنوعة من المهام اللاحقة. يمكن أن تشير طرق التوجيه المتقدمة إلى التفاعل بين نموذج اللغة، والمستخدم، والأدوات الخارجية مثل الآلات الحاسبة. ومع ذلك، للحصول على أداء متقدم أو تكييف نماذج اللغة لمهام محددة، لابد من تنفيذ برامج معقدة خاصة بالمهمة والنموذج، والتي قد تتطلب تفاعلًا مخصصًا. بناءً على ذلك، نقدم الفكرة الجديدة لبرمجة نموذج اللغة (LMP). تعمم LMP التوجيه من خلال النصوص البحتة إلى مزيج بديهي من التوجيه النصي والبرمجة النصية. بالإضافة إلى ذلك، تسمح LMP بتحديد قيود على مخرجات نموذج اللغة، مما يتيح تكييفًا سهلاً للعديد من المهام مع تجريد تفاصيل نموذج اللغة وتوفير دلالات عالية المستوى. لتمكين LMP، قمنا بتنفيذ LMQL (اختصارًا لـ لغة استعلام نموذج اللغة)، التي تستفيد من القيود وتدفق التحكم من توجيه LMP لتوليد إجراء استدلالي فعال يقلل من عدد الاستدعاءات المكلفة للنموذج الأساسي. نُظهر أن LMQL يمكنها استيعاب مجموعة واسعة من طرق التوجيه المتقدمة بطريقة بديهية، مما يسهل خصوصًا التدفقات التفاعلية التي يصعب تنفيذها عبر واجهات برمجة التطبيقات عالية المستوى المتوفرة. تُظهر تقييماتنا أننا نحافظ على الدقة أو نزيدها في عدة مهام لاحقة، مع تقليل كبير في مقدار الحساب المطلوب أو التكلفة في حالة واجهات برمجة التطبيقات المدفوعة (توفير في التكلفة بنسبة 26-85%).