Una Red de Fusión de Características de Atención Multiescala Eficiente para la Interpolación de Fotogramas de Video 4K

La interpolación de fotogramas de video tiene como objetivo generar fotogramas intermedios en un video para mostrar detalles más finos. Sin embargo, la mayoría de los métodos solo se entrenan y prueban en conjuntos de datos de baja resolución, careciendo de investigación sobre problemas de interpolación de fotogramas de video 4K. Esta limitación dificulta el manejo del procesamiento de video a alta tasa de cuadros en escenarios del mundo real. En este artículo, proponemos un conjunto de datos de video 4K a 120 fps, llamado UHD4K120FPS, que contiene movimiento grande. También proponemos un marco novedoso para resolver la tarea de interpolación de fotogramas de video 4K, basado en una estructura de red piramidal multiescala. Introducimos la autoatención para capturar dependencias a largo alcance y auto-similitudes en el espacio de píxeles, lo que supera las limitaciones de las operaciones convolucionales. Para reducir el costo computacional, utilizamos un enfoque simple basado en mapeo para aligerar la autoatención, permitiendo aún pesos de agregación conscientes del contenido. A través de extensos experimentos cuantitativos y cualitativos, demostramos el excelente desempeño alcanzado por nuestro modelo propuesto en el conjunto UHD4K120FPS, así como ilustramos la efectividad de nuestro método para la interpolación de fotogramas de video 4K. Además, evaluamos la robustez del modelo en conjuntos de datos de referencia de baja resolución.