MagicFace: Trainingsfreie universelle Stil-Menschbild-individuelle Synthese

Aktuelle Methoden zur individuellen Synthese von Menschenbildern erfordern typischerweise mühsames Training an groß angelegten Datensätzen. Dabei neigen sie zu Überanpassung und haben Schwierigkeiten, Individuen mit bisher ungesehenen Stilen zu personalisieren. Zudem konzentrieren sich diese Methoden überwiegend auf die Synthese von Menschenbildern mit einem einzelnen Konzept und fehlen die nötige Flexibilität zur Anpassung von Individuen mit mehreren vorgegebenen Konzepten, was ihre breitere praktische Anwendung behindert. Zu diesem Zweck schlagen wir MagicFace vor, eine neuartige trainingsfreie Methode zur universellen Stil-Menschbild-individuellen Synthese, die Mehrfachkonzept-Anpassung ermöglicht, indem Referenzkonzeptmerkmale auf Pixel-Ebene präzise in ihre latente generierte Region integriert werden. Genauer gesagt führt MagicFace eine grob-zu-fein Generierungspipeline ein, die zwei aufeinanderfolgende Stufen umfasst: semantische Layout-Konstruktion und Konzeptmerkmalinjektion. Dies wird durch unsere Reference-aware Self-Attention (RSA) und Region-grouped Blend Attention (RBA) Mechanismen erreicht. In der ersten Stufe ermöglicht RSA dem latenten Bild, gleichzeitig Merkmale aller Referenzkonzepte abzufragen, um ein umfassendes semantisches Verständnis zu extrahieren und die initiale semantische Layout-Erstellung zu erleichtern. In der zweiten Stufe verwenden wir eine aufmerksamkeitsbasierte semantische Segmentierungsmethode, um die latenten generierten Regionen aller Konzepte bei jedem Schritt zu bestimmen. Daraufhin teilt RBA die Pixel des latenten Bildes in semantische Gruppen ein, wobei jede Gruppe fein granulare Merkmale vom entsprechenden Referenzkonzept abfragt, was eine präzise Attribut-Ausrichtung und Merkmalinjektion sicherstellt. Während des gesamten Generierungsprozesses wird eine gewichtete Maskenstrategie angewendet, um sicherzustellen, dass das Modell sich stärker auf die Referenzkonzepte konzentriert. Umfangreiche Experimente zeigen die Überlegenheit von MagicFace sowohl bei der menschzentrierten Subjekt-zu-Bild Synthese als auch bei der multidimensionalen Konzeptanpassung von Menschenbildern.