Splatfacto-W: Una implementación de Nerfstudio de Gaussian Splatting para colecciones de fotos no restringidas

La síntesis de vistas nuevas a partir de colecciones de imágenes no restringidas y en entornos reales sigue siendo una tarea significativa pero desafiante debido a variaciones fotométricas y oclusores transitorios que complican la reconstrucción precisa de la escena. Métodos anteriores han abordado estas cuestiones integrando incrustaciones de características de apariencia por imagen en Neural Radiance Fields (NeRFs). Aunque el Gaussian Splatting 3D (3DGS) ofrece entrenamiento más rápido y renderizado en tiempo real, adaptarlo a colecciones de imágenes no restringidas no es trivial debido a la arquitectura sustancialmente diferente. En este artículo, presentamos Splatfacto-W, un enfoque que integra características neuronales de color por cada Gaussian y embebidos de apariencia por imagen en el proceso de rasterización, junto con un modelo de fondo basado en armónicos esféricos para representar apariencias fotométricas variables y representar mejor los fondos. Nuestras contribuciones clave incluyen modelado latente de apariencia, manejo eficiente de objetos transitorios y modelado preciso de fondos. Splatfacto-W ofrece síntesis de vistas nuevas en tiempo real y alta calidad con mejor consistencia de escena en escenarios del mundo real. Nuestro método mejora la Relación Señal a Ruido de Pico (PSNR) en un promedio de 5.3 dB comparado con 3DGS, aumenta la velocidad de entrenamiento 150 veces respecto a métodos basados en NeRF y logra una velocidad de renderizado similar a la de 3DGS. Resultados adicionales en video y código integrado en Nerfstudio están disponibles en https://kevinxu02.github.io/splatfactow/.