Echtzeit-KI-gesteuerter Kommentar und Kameraführung bieten revolutionäre Möglichkeiten zur Verbesserung des Zuschauerengagements und des Verständnisses von Live-Events in der sich schnell entwickelnden Welt des E-Sports. Diese Arbeit schlägt ein autonomes System vor, das sowohl dynamische Kommentare generieren als auch die Zuschauer-Kamera für live gestreamte E-Sport-Matches steuern soll, wobei der Schwerpunkt auf League of Legends (LoL), einem beliebten Multiplayer Online Battle Arena (MOBA) Spiel, liegt. Es beinhaltet die Nutzung von GPT-4o mit Vision und OpenAI's TTS API. Die Synchronisierung des Kommentars mit Echtzeit-Kamerabewegungen ist eine der Hauptaufgaben. Dies geschieht mittels eines Kamera-Tracking- und Szenenwechsel-Erkennungsalgorithmus, der den Kommentar in Echtzeit an sich ändernde Szenen anpasst, indem er Techniken der Computer Vision nutzt. Darüber hinaus werden zwei neuronale Architekturen für die KI-gesteuerte Kamerakontrolle vorgestellt: ein 2D Convolutional-LSTM (Conv-LSTM) Modell, das sich auf unabhängige räumliche und zeitliche Analysen konzentriert, und ein 3D CNN Modell, das diese Eigenschaften kombiniert, um Kamerabewegungen umfassender vorherzusagen. Bewertungen der Metriken Flüssigkeit, Relevanz und strategische Tiefe zeigen, dass unser integriertes System die Zuschauererfahrung verbessert, indem es tiefgehende und kohärente Erzählungen bietet, die kontextuell mit den Dynamiken des Spiels übereinstimmen. Die vorgeschlagenen Modelle werden quantitativ anhand der Erfassung von Zuschauer-Kamerabewegungsmustern evaluiert.
Narayanan et al. (Do.,) haben diese Frage untersucht.