Splattering Gaussiano 3D Deformable Rápido y Robusto

El Splattering Gaussiano 3D ha demostrado notables capacidades de renderizado en tiempo real y una calidad visual superior en la síntesis de nuevas vistas para escenas estáticas. Basándose en estas ventajas, los investigadores han extendido progresivamente los Gaussianos 3D a la reconstrucción de escenas dinámicas. Los métodos basados en campos de deformación han surgido como un enfoque prometedor entre varias técnicas. Estos métodos mantienen atributos Gaussianos 3D en un campo canónico y emplean el campo de deformación para transformar este campo a lo largo de secuencias temporales. Sin embargo, estos enfoques frecuentemente enfrentan desafíos como velocidades de renderizado subóptimas, dependencia significativa de nubes de puntos iniciales y vulnerabilidad a óptimos locales en escenas oscuras. Para superar estas limitaciones, presentamos FRoG, un marco eficiente y robusto para la reconstrucción de escenas dinámicas de alta calidad. FRoG integra incrustación por Gaussiano con una estrategia de incrustación temporal de grueso a fino, acelerando el renderizado mediante la fusión temprana de incrustaciones temporales. Además, para mejorar la robustez contra inicializaciones escasas, introducimos una novedosa estrategia de muestreo guiada por profundidad y error. Esta estrategia poblaciona el campo canónico con nuevos Gaussianos 3D en posiciones iniciales de baja desviación, reduciendo significativamente la carga de optimización en el campo de deformación y mejorando la reconstrucción de detalles tanto en regiones estáticas como dinámicas. Además, modulando las variaciones de opacidad, mitigamos el problema de óptimos locales en escenas oscuras, mejorando la fidelidad del color. Resultados experimentales integrales validan que nuestro método logra velocidades de renderizado aceleradas manteniendo una calidad visual de vanguardia.