Audiovisuelle Schulung zur verbesserten Verankerung in Video-Text-LLMs

Jüngste Fortschritte bei multimodalen LLMs haben zur Entwicklung mehrerer Video-Text-Modelle für wichtige video-bezogene Aufgaben geführt. Allerdings unterstützen die meisten bisherigen Arbeiten nur visuelle Eingaben und ignorieren somit das Audiosignal im Video. Wenige Modelle, die sowohl Audio- als auch visuelle Eingaben unterstützen, sind nicht explizit auf Audiodaten trainiert. Daher ist die Wirkung von Audio auf das Videoverständnis weitgehend unerforscht. Zu diesem Zweck schlagen wir eine Modellarchitektur vor, die audiovisuelle Eingaben explizit verarbeitet. Wir trainieren unser Modell mit sowohl Audio- als auch visuellen Daten aus einem Video-Instruction-Tuning-Datensatz. Der Vergleich mit rein visuell basierten Baselines und anderen audio-visuellen Modellen zeigt, dass das Training mit Audiodaten tatsächlich zu einer verbesserten Verankerung der Antworten führt. Für eine bessere Bewertung audio-visueller Modelle veröffentlichen wir außerdem einen menschlich annotierten Benchmark-Datensatz mit audio-bewussten Frage-Antwort-Paaren.