Director3D: Realistische Kameratrajektorie und 3D-Szenenerstellung aus Text

Jüngste Fortschritte in der 3D-Generierung nutzen synthetische Datensätze mit Ground-Truth-3D-Assets und vordefinierten Kameras. Das Potenzial der Verwendung von realen Datensätzen, die wesentlich realistischere 3D-Szenen erzeugen können, bleibt jedoch weitgehend unerforscht. In dieser Arbeit beleuchten wir die zentrale Herausforderung der komplexen und szenenspezifischen Kameratrajektorien, die bei realen Aufnahmen vorkommen. Wir stellen Director3D vor, ein robustes Open-World-Text-zu-3D-Generierungsframework, das sowohl reale 3D-Szenen als auch adaptive Kameratrajektorien erzeugt. Dazu (1) nutzen wir zunächst einen Trajectory Diffusion Transformer, der als Kameramann agiert, um die Verteilung der Kameratrajektorien anhand von Textbeschreibungen zu modellieren. (2) Anschließend dient ein gaußgetriebener Multi-View Latent Diffusion Model als Dekorateur, der die Verteilung der Bildsequenzen basierend auf den Kameratrajektorien und Texten modelliert. Dieses Modell, feinabgestimmt auf einem 2D-Diffusionsmodell, generiert direkt pixel-aligned 3D-Gaussianer als unmittelbare 3D-Szenen-Repräsentation für konsistentes Denoising. (3) Abschließend werden die 3D-Gaussianer durch einen neuartigen SDS++-Loss als Detailierer verfeinert, der das Vorwissen des 2D-Diffusionsmodells integriert. Umfangreiche Experimente zeigen, dass Director3D bestehende Methoden übertrifft und überlegene Leistungen bei der realen 3D-Generierung bietet.