التضمينات المشتركة لضبط تعليمات الرسوم البيانية

لقد حققت نماذج اللغة الكبيرة (LLMs) أداءً مثيرًا للإعجاب في فهم النصوص وأصبحت أداة أساسية لبناء مساعدين ذكيين. كانت تركز في الأصل على النصوص، لكنها تم تطويرها مؤخرًا بقدرات متعددة الوسائط في أعمال نجحت في بناء مساعدين يتبعون التعليمات البصرية. أما بالنسبة إلى وسائط الرسوم البيانية، فلم يتم تطوير مثل هؤلاء المساعدين بعد. تمثل هياكل الرسوم البيانية تعقيداً لأنها تمثل العلاقات بين ميزات مختلفة وتتميز بالثبات على التبديل. علاوة على ذلك، فإن تمثيلها بشكل نصي بحت لا يؤدي دائمًا إلى أداء جيد لنماذج LLM حتى بعد التخصيص الدقيق. ونتيجة لذلك، هناك حاجة لتطوير طريقة جديدة لدمج الرسوم البيانية في نماذج LLM للفهم العام للرسوم البيانية. يستكشف هذا العمل دمج وسائط الرسوم البيانية في نماذج LLM لمهام اتباع التعليمات العامة المتعلقة بالرسوم البيانية. يهدف إلى إنتاج نموذج تعلم عميق يعزز نموذج LLM الأساسي بتضمينات الرسوم البيانية ويدربه على فهمها وإنتاج إجابة مبنية على تمثيل الرسم البياني إعتماداً على التعليمات المعطاة. يتفوق هذا النهج بفارق كبير على النهج الذي يحول الرسوم البيانية إلى نص، ويظل ثابتًا حتى بالنسبة للرسوم البيانية الأكبر حجماً.