Die Generierung künstlerischer und kohärenter 3D-Szenen-Layouts ist entscheidend für die digitale Inhaltserstellung. Traditionelle optimierungsbasierte Methoden sind oft durch umständliche manuelle Regeln eingeschränkt, während tiefe generative Modelle Herausforderungen bei der Erzeugung von Inhalten mit Reichhaltigkeit und Vielfalt gegenüberstehen. Darüber hinaus fehlt es Ansätzen, die große Sprachmodelle nutzen, häufig an Robustheit und sie erfassen komplexe räumliche Beziehungen nicht genau. Um diese Herausforderungen anzugehen, präsentiert dieses Papier ein neuartiges, sichtgeführtes 3D-Layout-Generierungssystem. Zunächst erstellen wir eine hochwertige Asset-Bibliothek, die 2.037 Szenen-Assets und 147 3D-Szenen-Layouts enthält. Anschließend verwenden wir ein Bildgenerierungsmodell, um Eingaberepräsentationen in Bilder zu erweitern, indem wir es so anpassen, dass es mit unserer Asset-Bibliothek übereinstimmt. Danach entwickeln wir ein robustes Bildparser-Modul, um das 3D-Layout von Szenen auf Basis visueller Semantik und geometrischer Informationen wiederherzustellen. Schließlich optimieren wir das Szenen-Layout mithilfe von Szenengrafiken und visueller Semantik, um logische Kohärenz und Übereinstimmung mit den Bildern sicherzustellen. Umfassende Benutzertests zeigen, dass unser Algorithmus bestehende Methoden hinsichtlich Layout-Reichhaltigkeit und -Qualität erheblich übertrifft. Der Code und die Datensätze werden auf https://github.com/HiHiAllen/Imaginarium verfügbar sein.
Zhu et al. (Mon,) untersuchten diese Frage.