PosterLLaVa: بناء مولد تخطيط متعدد الوسائط موحد باستخدام LLM

توليد التخطيط هو الركيزة الأساسية لتحقيق التصميم الجرافيكي الآلي، ويتطلب ترتيب موقع وحجم عناصر التصميم متعددة الوسائط بطريقة بصرية جذابة ومتوافقة مع القيود. الطرق السابقة إما غير فعالة للتطبيقات واسعة النطاق أو تفتقر إلى المرونة لمتطلبات التصميم المتغيرة. يقدم بحثنا إطارًا موحدًا لتوليد تخطيطات الرسوم الجرافيكية الآلي، مستفيدًا من نموذج اللغة الكبيرة متعدد الوسائط (MLLM) لاستيعاب مهام تصميم متنوعة. في المقابل، تستخدم طريقتنا المدفوعة بالبيانات نصًا منظمًا (بصيغة JSON) وتوليف تعليمات بصرية لتوليد التخطيطات ضمن قيود بصرية ونصية محددة، بما في ذلك المواصفات اللغوية الطبيعية التي يحددها المستخدم. أجرينا تجارب موسعة وحققنا أداءً رائدًا على مؤشرات التقييم العامة لتوليد التخطيطات متعددة الوسائط، مما يبرهن على فعالية طريقتنا. علاوة على ذلك، وباعترافنا بحدود المجموعات البيانية الحالية في التقاط تعقيد التصاميم الجرافيكية الواقعية، نقترح مجموعتين جديدتين لمهام أكثر تحديًا (التوليد المقيد بالمستخدم والملصق المعقد)، مما يثبت تعزز فائدة نموذجنا في إعدادات الحياة الواقعية. يتميز هذا النهج بقابلية وصول وقابلية تكيف عالية، مما يجعل مهام التصميم الجرافيكي واسعة النطاق أكثر تحكمًا آليًا. سيكون الكود والمجموعات البيانية متاحة للجمهور على https://github.com/posterllava/PosterLLaVA.