Verbesserte zeitliche Aktionslokalisierung mit separierter bidirektionaler Mamba und Randkorrekturstrategie

Die zeitliche Aktionslokalisierung (TAL) ist ein Forschungsschwerpunkt im Bereich Videoverstehen, der darauf abzielt, Aktionen in Videos zu lokalisieren und zu klassifizieren. Bestehende Methoden haben jedoch Schwierigkeiten, Langzeitaktionen zu erfassen, da sie sich auf lokale zeitliche Informationen konzentrieren, was zu schlechten Ergebnissen bei der Lokalisierung lang anhaltender zeitlicher Sequenzen führt. Darüber hinaus ignorieren die meisten Methoden die Bedeutung der Grenzen für Aktionsinstanzen, was zu ungenau lokalisierten Grenzen führt. Um diese Probleme zu adressieren, schlägt dieser Artikel ein Zustandsraummodell für die zeitliche Aktionslokalisierung vor, genannt Separated Bidirectional Mamba (SBM), das Rahmenänderungen innovativ aus der Perspektive der Zustandstransformation versteht. Es passt sich an unterschiedliche Sequenzlängen an und integriert Zustandsinformationen aus Vorwärts- und Rückwärtsrichtung für jeden Rahmen durch Forward Mamba und Backward Mamba, um umfassendere Aktionsrepräsentationen zu erhalten und die Modellierungsfähigkeiten für langanhaltende zeitliche Sequenzen zu verbessern. Außerdem entwickelt dieser Artikel eine Boundary Correction Strategy (BCS). Diese berechnet den Beitrag jedes Rahmens zu Aktionsinstanzen basierend auf den vorlokalisierten Ergebnissen und passt dann die Gewichte der Rahmen in der Randregression an, um sicherzustellen, dass sich die Grenzen zugunsten der Rahmen mit höheren Beiträgen verschieben, was zu genaueren Grenzen führt. Um die Wirksamkeit der vorgeschlagenen Methode zu demonstrieren, berichtet dieser Artikel den mittleren Durchschnittspräzisionswert (mAP) unter temporal Intersection over Union (tIoU) Schwellenwerten an vier herausfordernden Benchmarks: THUMOS13, ActivityNet-1.3, HACS und FineAction, wobei die vorgeschlagene Methode mAP-Werte von 73,7 %, 42,0 %, 45,2 % bzw. 29,1 % erreicht und damit die aktuell besten Ansätze übertrifft.