3DGStream: Echtzeit-Training von 3D-Gaussern für effizientes Streaming fotorealistischer Free-Viewpoint-Videos

Die Erstellung fotorealistischer Free-Viewpoint-Videos (FVVs) dynamischer Szenen aus Multi-View-Videos bleibt eine Herausforderung. Trotz bemerkenswerter Fortschritte aktueller neuraler Rendering-Techniken erfordern diese Methoden in der Regel vollständige Videosequenzen für das Offline-Training und sind nicht für Echtzeit-Rendering geeignet. Um diese Einschränkungen zu überwinden, stellen wir 3DGStream vor, eine Methode für effizientes FVV-Streaming realer dynamischer Szenen. Unsere Methode erreicht eine schnelle On-the-Fly-Rekonstruktion pro Frame innerhalb von 12 Sekunden und Echtzeit-Rendering mit 200 FPS. Konkret verwenden wir 3D-Gaussern (3DGs) zur Repräsentation der Szene. Anstelle des naiven Ansatzes, 3DGs direkt pro Frame zu optimieren, nutzen wir einen kompakten Neural Transformation Cache (NTC), um die Translationen und Rotationen der 3DGs zu modellieren, was die Trainingszeit und den Speicherbedarf pro FVV-Frame deutlich reduziert. Außerdem schlagen wir eine adaptive Strategie zum Hinzufügen von 3DGs vor, um neu auftretende Objekte in dynamischen Szenen zu erfassen. Experimente zeigen, dass 3DGStream hinsichtlich Rendering-Geschwindigkeit, Bildqualität, Trainingszeit und Modellgröße mit modernen Methoden konkurriert.