VideoAgent: Ein speicherunterstützter multimodaler Agent für das Videoverständnis

Wir untersuchen, wie die Versöhnung mehrerer Foundation-Modelle (große Sprachmodelle und Vision-Sprach-Modelle) mit einem neuartigen einheitlichen Speichersystem das herausfordernde Problem des Videoverstehens angehen kann, insbesondere die Erfassung langfristiger zeitlicher Beziehungen in langen Videos. Insbesondere konstruiert der vorgeschlagene multimodale Agent VideoAgent: 1) einen strukturierten Speicher, um sowohl allgemeine temporale Ereignisbeschreibungen als auch objektzentrierte Tracking-Zustände des Videos zu speichern; 2) bei Eingabe einer Aufgabenanfrage setzt er Werkzeuge ein, einschließlich der Lokalisierung von Videosegmenten und der Abfrage des Objektgedächtnisses sowie andere visuelle Foundation-Modelle, um die Aufgabe interaktiv zu lösen, wobei die Zero-Shot-Werkzeugnutzung von LLMs genutzt wird. VideoAgent zeigt beeindruckende Leistungen in mehreren Langzeit-Videoverständnis-Benchmarks, mit einer durchschnittlichen Steigerung von 6,6 % bei NExT-QA und 26,0 % bei EgoSchema im Vergleich zu Basismodellen, wodurch die Lücke zwischen Open-Source-Modellen und privaten Pendants wie Gemini 1.5 Pro geschlossen wird.