Ein Transformer-basiertes Modell zur Vorhersage des menschlichen Blickverhaltens in Videos

Anwendungen des Eye-Trackings, die den menschlichen Blick in Aufgaben zur Videoanalyse nutzen, werden immer wichtiger. Um den Prozess der Videoanalyse basierend auf Eye-Tracking-Daten effektiv zu automatisieren, ist es wichtig, das menschliche Blickverhalten genau zu replizieren. Diese Aufgabe stellt jedoch aufgrund der inhärenten Komplexität und Mehrdeutigkeit menschlicher Blickmuster erhebliche Herausforderungen dar. In dieser Arbeit stellen wir eine neuartige Methode zur Simulation des menschlichen Blickverhaltens vor. Unser Ansatz verwendet einen transformerbasierten Reinforcement-Learning-Algorithmus, um einen Agenten zu trainieren, der als menschlicher Beobachter agiert, wobei seine Hauptaufgabe darin besteht, Videos anzuschauen und das menschliche Blickverhalten zu simulieren. Wir verwendeten einen Eye-Tracking-Datensatz, der von Videos stammt, die mit dem VirtualHome-Simulator generiert wurden, mit einem Schwerpunkt auf Aktivitätserkennung. Unsere experimentellen Ergebnisse demonstrieren die Effektivität unserer Blickvorhersagemethode, indem sie ihre Fähigkeit zur Replikation des menschlichen Blickverhaltens sowie ihre Anwendbarkeit für nachgelagerte Aufgaben hervorheben, bei denen echter menschlicher Blick als Eingabe verwendet wird.