Difusión de Video Colaborativa: Generación Consistente de Multi-video con Control de Cámara

La investigación sobre la generación de video ha avanzado enormemente recientemente, permitiendo que se generen videos de alta calidad a partir de indicaciones de texto o imágenes. Añadir control al proceso de generación de video es un objetivo importante para el futuro y los enfoques recientes que condicionan los modelos de generación de video en trayectorias de cámara avanzan hacia ello. Sin embargo, sigue siendo un desafío generar un video de la misma escena desde múltiples trayectorias de cámara diferentes. Las soluciones a este problema de generación multi-video podrían permitir generación a gran escala de escenas 3D con trayectorias de cámara editables, entre otras aplicaciones. Presentamos la difusión de video colaborativa (CVD) como un paso importante hacia esta visión. El marco CVD incluye un novedoso módulo de sincronización cruzada de video que promueve la consistencia entre cuadros correspondientes del mismo video renderizados desde diferentes poses de cámara usando un mecanismo de atención epipolar. Entrenado sobre un módulo de control de cámara de última generación para generación de video, CVD genera múltiples videos renderizados desde diferentes trayectorias de cámara con una consistencia significativamente mejor que las líneas base, como se muestra en extensos experimentos. Página del proyecto: https://collaborativevideodiffusion.github.io/.