هندسة السياق الفاعل: تطوير السياقات لنماذج اللغة ذات التحسين الذاتي

تزداد تطبيقات نماذج اللغة الكبيرة (LLM) مثل الوكلاء والاستدلال المتخصص في المجالات اعتمادًا على تكييف السياق — تعديل المدخلات باستخدام التعليمات، الاستراتيجيات، أو الأدلة، بدلاً من تحديث الأوزان. تحسّن الطرق السابقة القابلية للاستخدام لكنها غالبًا ما تعاني من تحيز الإيجاز، الذي يهمش رؤى المجال من أجل ملخصات موجزة، ومن انهيار السياق، حيث يؤدي إعادة الكتابة المتكررة إلى تآكل التفاصيل مع مرور الوقت. بالاستفادة من الذاكرة التكيفية التي قدمها Dynamic Cheatsheet، نقدم ACE (هندسة السياق الفاعل)، إطارًا يعامل السياقات ككتب لعب متطورة تراكم، وتنقح، وتنظم الاستراتيجيات من خلال عملية معيارية تتضمن التوليد، والتأمل، والانتقاء. تمنع ACE الانهيار من خلال تحديثات منظمة وتدريجية تحافظ على المعرفة التفصيلية وتتوسع مع نماذج السياق الطويل. عبر مقاييس الوكلاء والمجالات المتخصصة، تحسن ACE السياقات سواء غير المتصلة بالإنترنت (مثل مطالبات النظام) أو المتصلة (مثل ذاكرة الوكيل)، متفوقة باستمرار على قواعد مرجعية قوية: +10.6% على الوكلاء و +8.6% في المال، مع تقليل كبير في زمن التكيف وتكلفة التطبيق. ومن الجدير بالذكر أن ACE يمكنها التكيف بفعالية دون إشراف معنَون اعتمادًا بدلاً من ذلك على ملاحظات التنفيذ الطبيعية. على لوحة الصدارة AppWorld، تضاهي ACE الوكيل ذو المستوى الإنتاجي الأعلى تصنيفاً في المتوسط العام وتتجاوزه في اختبار التحدي الأصعب، رغم استخدام نموذج مفتوح المصدر أصغر. تظهر هذه النتائج أن السياقات الشاملة والمتطورة تمكّن أنظمة LLM قابلة للتوسع، فعالة، ومتطورة ذاتيًا مع تكاليف منخفضة.