هل الضغط فعلاً خطي مع ذكاء الكود؟

فهم العلاقة بين ضغط البيانات وقدرات نماذج اللغة الكبيرة (LLMs) أمر حاسم، خاصة في المجالات المتخصصة مثل ذكاء الكود. الأعمال السابقة افترضت علاقة خطية بين الضغط والذكاء العام. ومع ذلك، تجاهلت الطبيعة متعددة الأوجه للكود التي تشمل لغات برمجة متنوعة ومهام مختلفة، وكافحت مع تقييم عادل لنماذج Code LLM الحديثة. نحن نعالج هذا من خلال تقييم مجموعة متنوعة من نماذج Code LLM مفتوحة المصدر على معايير شاملة متعددة اللغات والمهام. لمواجهة تحدي التقييم الفعال والعادل لذكاء الكود في نماذج LLM المدربة مسبقاً، نقدم "Format Annealing"، وهي منهجية تدريب خفيفة الوزن وشفافة تهدف إلى تقييم القدرات الجوهرية لهذه النماذج بصورة عادلة. تُقاس فعالية الضغط بوحدة البتات لكل حرف (BPC) باستخدام مجموعة تحقق جديدة كبيرة الحجم ولم تُرَ من قبل مشتقة من GitHub. تكشف نتائجنا التجريبية عن علاقة لوغاريتمية أساسية بين ذكاء الكود المقاس وBPC. هذه النتيجة تنقح الفرضيات السابقة بشأن الخطية، والتي نقترح أنها على الأرجح ملاحظات لذيل المنحنى اللوغاريتمي ضمن ظروف محدودة وخاصة. عملنا يقدم فهماً أكثر دقة لدور الضغط في تطوير ذكاء الكود ويسهم بإطار تقييم قوي في مجال الكود.