LoRA-Composer: Nutzung der Low-Rank-Adaptation zur Multi-Konzept-Anpassung in trainingfreien Diffusionsmodellen

Techniken zur Generierung von Anpassungen haben die Synthese spezifischer Konzepte in unterschiedlichen Kontexten erheblich vorangebracht. Die Multi-Konzept-Anpassung stellt eine herausfordernde Aufgabe in diesem Bereich dar. Bestehende Ansätze basieren häufig darauf, eine Low-Rank Adaptations (LoRA) Fusionsmatrix mehrerer LoRAs zu trainieren, um verschiedene Konzepte in einem einzigen Bild zu vereinen. Wir identifizieren jedoch zwei wesentliche Probleme bei dieser einfachen Methode: 1) Konzeptverwirrung, die auftritt, wenn das Modell die einzelnen charakteristischen Merkmale nicht erhalten kann, und 2) Konzeptverschwinden, bei dem das Modell die beabsichtigten Motive nicht generiert. Um diese Probleme zu beheben, stellen wir LoRA-Composer vor, ein trainingsfreies Framework, das für die nahtlose Integration mehrerer LoRAs entwickelt wurde und dadurch die Harmonie verschiedener Konzepte innerhalb generierter Bilder verbessert. LoRA-Composer adressiert das Verschwinden von Konzepten durch Concept Injection Constraints, die die Sichtbarkeit der Konzepte mittels eines erweiterten Cross-Attention-Mechanismus erhöhen. Zur Bekämpfung der Konzeptverwirrung werden Concept Isolation Constraints eingeführt, die die Selbstaufmerksamkeitsberechnung verfeinern. Darüber hinaus wird eine Latent Re-initialization vorgeschlagen, um koncept-spezifische latente Merkmale in definierten Regionen effektiv zu stimulieren. Unsere umfangreichen Tests zeigen eine deutliche Verbesserung der Leistung von LoRA-Composer im Vergleich zu Standard-Benchmarks, insbesondere beim Wegfall bildbasierter Bedingungen wie canny-Kanten- oder Posenschätzungen. Der Code ist veröffentlicht unter https://github.com/Young98CN/LoRA\Composer.