ليتا: الوكيل الخفيف يكشف قدرات التكويد الوكالية لنماذج اللغة الكبيرة

تُستخدم نماذج اللغة الكبيرة (LLMs) بشكل متزايد في مهام البرمجة، بدءًا من إكمال الشفرة في خطوة واحدة إلى الوكلاء المستقلين. غالبًا ما تعتمد تصميمات وكلاء الشفرة الحالية على سير عمل وأدوات معقدة ومصممة يدويًا. ومع ذلك، فإن الاعتماد على تلك الهياكل المعقدة يطرح عدة تحديات: تصبح آداء الوكيل مرتبطًا بشكل مفرط بضبط النماذج وتعقيدات التصميم المخصصة، كما أن التدخل البشري المكثف obscures القدرات الحقيقية للنموذج الأساسي، وتكلفة بناء وصيانة خطوط الأنابيب المعقدة مرتفعة. علاوة على ذلك، يزيد تحسين تعليمات المهام المعقدة من خطر تسرب البيانات. حاليًا، عند تقديم نماذج جديدة، غالبًا ما تنشر مزودات LLM مثل OpenAI وAnthropic درجات المؤشرات لعرض مهارات النماذج في التكويد، لكنها تُبقي أطر التقييم الخاصة بها سرية. لمعالجة هذه القيود، نقدم ليتا (Lite Agent)، الذي يُفعّل مبدأ الصغر، وهو تقليل التصميم اليدوي مع الاحتفاظ بالعناصر الأساسية لوكيل مستقل تمامًا. يسمح ليتا بتقييم أكثر صدقًا وتوحيدًا دون الحاجة لهياكل معقدة. تُظهر التجارب على Aider Polyglot وSWE-Bench مع نماذج رائدة أن ليتا يحقق أداءً تنافسيًا أو متفوقًا مقارنة بأساسيات سير العمل والوكلاء. والأهم من ذلك، يستهلك ليتا عددًا أقل من الرموز ويتطلب جهد تصميم أقل بكثير. تشير نتائجنا إلى أن ليتا كافٍ لكشف الكفاءة التكويدية الأساسية لنماذج LLM الحديثة. وأخيرًا، نقترح قانون تعقيد الوكيل: فجوة الأداء بين الوكلاء ذوي التعقيد المختلف، من التصاميم البسيطة إلى المعقدة، ستتقلص مع تحسن النموذج الأساسي، وتتقارب في النهاية إلى اختلاف ضئيل.