LLM–VLM-Fusionsrahmenwerk für autonome maritime Hafeninspektion mit einem heterogenen UAV–USV-System

Die maritime Hafeninspektion spielt eine entscheidende Rolle für Sicherheit, Einhaltung von Vorschriften und operative Effizienz in komplexen maritimen Umgebungen. Bestehende Inspektionsmethoden basieren jedoch oft auf manuellen Abläufen und herkömmlichen Computer-Vision-Techniken, denen es an Skalierbarkeit und kontextuellem Verständnis mangelt. Diese Studie stellt ein neuartiges integriertes Ingenieurframework vor, das die Synergie zwischen Large Language Models (LLMs) und Vision Language Models (VLMs) nutzt, um eine autonome maritime Hafeninspektion mit kooperativen Luft- und Oberflächenrobotikplattformen zu ermöglichen. Das vorgeschlagene Framework ersetzt traditionelle zustandsbasierte Missionsplaner durch LLM-gesteuerte symbolische Planung und verbesserte Wahrnehmungspipelines durch VLM-basierte semantische Inspektion, die kontextbewusstes und adaptives Monitoring ermöglichen. Das LLM-Modul übersetzt natürlichsprachliche Missionsanweisungen in ausführbare symbolische Pläne mit Abhängigkeitsgraphen, welche operationelle Einschränkungen codieren und eine sichere UAV–USV-Koordination gewährleisten. Gleichzeitig führt das VLM-Modul eine Echtzeit-sematische Inspektion und Compliance-Bewertung durch und erstellt strukturierte Berichte mit kontextuellem Schließen. Das Framework wurde mit dem erweiterten MBZIRC Maritime Simulator mit realistischer Hafeninfrastruktur validiert und zusätzlich durch reale robotische Inspektionsversuche bewertet. Das leichte Onboard-Design stellt die Eignung für ressourcenbeschränkte maritime Plattformen sicher und fördert die Entwicklung intelligenter, autonomer Inspektionssysteme. Projektressourcen (Code und Videos) finden sich hier: https://github.com/Muhayyuddin/llm-vlm-fusion-port-inspection . • LLM-VLM-Fusion ermöglicht autonome maritime Inspektionen mit UAV-USV-Teams. • LLM-Planer wandelt natürlichsprachliche Missionen in ausführbare Aufgabenpläne um. • VLM-basierte semantische Inspektion ermöglicht Anomalieerkennung und Compliance. • Modulares Framework in MBZIRC-Simulator und realen Versuchen validiert. • Skalierbare Architektur für KI-gesteuerte maritime Inspektionen und Überwachung.