DiffLoRA: توليد أوزان التكييف منخفضة الرتبة الشخصية باستخدام الانتشار

حظي توليد النص إلى صورة المخصص باهتمام كبير لقدراته على توليد بورتريهات عالية الدقة لهويات محددة بناءً على مطالبات يعرفها المستخدم. عادةً ما تشمل الطرق الحالية تعديلًا دقيقًا أثناء الاختبار أو إدخال فرع مدرب مسبقًا إضافي. ومع ذلك، تواجه هذه الأساليب صعوبة في تلبية متطلبات الكفاءة، ودقة الهوية، والحفاظ على القدرات التوليدية الأصلية للنموذج في الوقت نفسه. في هذه الورقة، نقترح DiffLoRA، نهجًا جديدًا يستفيد من نماذج الانتشار كشبكة فائقة لتوقع أوزان التكيف منخفضة الرتبة (LoRA) المخصصة استنادًا إلى الصور المرجعية. من خلال دمج هذه الأوزان في نموذج النص إلى صورة، يحقق DiffLoRA التخصيص أثناء الاستدلال دون الحاجة لتدريب إضافي. بالإضافة إلى ذلك، نقترح خط أنابيب بناء أوزان LoRA موجهة نحو الهوية لتسهيل تدريب DiffLoRA. باستخدام مجموعة البيانات التي ينتجها هذا الخط، يقوم DiffLoRA بانتظام بتوليد أوزان LoRA ذات أداء عال ودقة مرتفعة. تظهر التقييمات الشاملة فعالية طريقتنا، محققة كفاءة زمنية مع الحفاظ على دقة الهوية طوال عملية التخصيص.