Neurale Volumina

Die Modellierung und Wiedergabe dynamischer Szenen ist herausfordernd, da natürliche Szenen oft komplexe Phänomene wie dünne Strukturen, sich entwickelnde Topologie, Transluzenz, Streuung, Verdeckung und biologische Bewegung enthalten. Mesh-basierte Rekonstruktionen und Verfolgungen scheitern oft in diesen Fällen, und andere Ansätze (z. B. Lichtfeldvideo) basieren typischerweise auf eingeschränkten Sichtbedingungen, die die Interaktivität einschränken. Wir umgehen diese Schwierigkeiten, indem wir einen lernbasierten Ansatz zur Darstellung dynamischer Objekte vorstellen, der vom integralen Projektionsmodell inspiriert ist, das in der tomografischen Bildgebung verwendet wird. Der Ansatz wird direkt aus 2D-Bildern in einem Multi-View-Fangsetting überwacht und erfordert keine explizite Rekonstruktion oder Verfolgung des Objekts. Unsere Methode hat zwei Hauptbestandteile: ein Encoder-Decoder-Netzwerk, das Eingabebilder in eine 3D-Volumenrepräsentation transformiert, und eine differenzierbare Strahlenmarching-Operation, die ein End-to-End-Training ermöglicht. Aufgrund ihrer 3D-Darstellung extrapoliert unsere Konstruktion besser zu neuen Blickwinkeln im Vergleich zu Techniken der Bildschirmraumwiedergabe. Die Encoder-Decoder-Architektur lernt eine latente Repräsentation einer dynamischen Szene, die es uns ermöglicht, neuartige Inhaltssequenzen zu erzeugen, die während des Trainings nicht gesehen wurden. Um die Speichereinschränkungen von voxel-basierten Darstellungen zu überwinden, lernen wir eine dynamische unregelmäßige Gitterstruktur, die mit einem Warp-Feld während des Strahlenmarchings implementiert ist. Diese Struktur verbessert die scheinbare Auflösung erheblich und reduziert gitterartige Artefakte und gezackte Bewegungen. Schließlich zeigen wir, wie man oberflächenbasierte Darstellungen in unser volumetrisches Lernframework einfügt für Anwendungen, bei denen die höchste Auflösung erforderlich ist, und verwenden die Erfassung von Gesichtsleistungen als Beispiel.