RAM-VQA: Wiederherstellungsunterstützte Multimodalitäts-Videoqualitätsbewertung

Die Videoqualitätsbewertung (VQA) versucht, menschliche Wahrnehmungsurteile rechnerisch nachzuahmen und hat aufgrund ihrer weitreichenden Anwendbarkeit erhebliche Aufmerksamkeit erlangt. Bestehende Methoden stoßen jedoch auf zwei Hauptprobleme: (1) begrenzte Fähigkeit zur Bewertung von Proben an Qualitätsgrenzen (z. B. stark degradierte oder nahezu perfekte Videos) und (2) unzureichende Sensitivität gegenüber feinen Qualitätsvariationen aufgrund einer Fehlanpassung an menschliche Wahrnehmungsmechanismen. Obwohl Vision-Language-Modelle vielversprechendes semantisches Verständnis bieten, leidet ihre Sensitivität für niedrigstufige Verzerrungen häufig aufgrund ihres Vertrauens auf visuelle Encoder, die für hochstufige Aufgaben vortrainiert wurden. Um diese Herausforderungen zu überwinden, schlagen wir das Restoration-Assisted Multi-modality VQA (RAM-VQA)-Framework vor. Einzigartig nutzt unser Ansatz die Videowiederherstellung als Stellvertreter, um verzerrungsempfindliche Merkmale explizit zu modellieren. Das Framework arbeitet in zwei synergistischen Phasen: eine Prompt-Lernphase, die durch dreifache Referenzen (degradiert, wiederhergestellt und einwandfrei), die aus dem Wiederherstellungsprozess stammen, einen qualitätsbewussten Textbereich konstruiert, sowie eine zweigleisige Bewertungsphase, die semantische Hinweise mit technischen Qualitätsindikatoren mittels spatio-temporaler Differentialanalyse integriert. Umfangreiche Experimente zeigen, dass RAM-VQA in verschiedenen Benchmarks eine Spitzenleistung erzielt und besonders bei Inhalten mit extremer Qualität überlegene Fähigkeiten aufweist und gleichzeitig eine robuste Generalisierung gewährleistet.