SADAMB: Fortschritt in räumlich bewusster Vision-Language-Modellierung durch Datensätze, Metriken und Benchmarks

Das Verständnis räumlicher Beziehungen zwischen Objekten in Bildern ist entscheidend für robotische Navigation, Augmented-Reality-Systeme und Anwendungen im autonomen Fahren, unter anderem. Bestehende Vision-Language-Benchmarks vernachlässigen jedoch häufig explizites räumliches Denken, was den Fortschritt in diesem Bereich einschränkt. Wir führen diese Einschränkung teilweise auf vorhandene offene Datensätze und Bewertungsmetriken zurück, die räumliche Details tendenziell übersehen. Um diese Lücke zu schließen, leisten wir drei Beiträge: Erstens erweitern wir den COCO-Datensatz erheblich um Annotationen räumlicher Beziehungen und stellen damit eine Ressource für räumlich bewusste Bildbeschriftung und visuelle Fragenbeantwortung bereit. Zweitens schlagen wir einen neuen Bewertungsrahmen vor, der Metriken umfasst, die die räumliche Genauigkeit von Bildbeschriftungen sowohl auf Satz- als auch auf Datensatzebene bewerten. Drittens führen wir eine Benchmark-Studie verschiedener Vision-Encoder–Text-Decoder Transformer-Architekturen für die Bildbeschriftung unter Verwendung des eingeführten Datensatzes und der Metriken durch. Die Ergebnisse zeigen, dass aktuelle Modelle räumliche Informationen nur teilweise erfassen und verdeutlichen die Herausforderungen bei der räumlich verankerten Textgenerierung.