Sem-SLAM: Semantic-Integrated SLAM-Ansatz für 3D-Rekonstruktion

Angesichts des Aufschwungs der Forschung zur Integration von Simultaneous Localization and Mapping (SLAM) und neuronaler impliziter Repräsentation zeigen bestehende Methoden deutliche Einschränkungen hinsichtlich der semantischen Umgebungszerlegung und der Fähigkeiten zur Szenenverständnis. Als Antwort darauf schlägt dieses Papier ein SLAM-System vor, das einen voll integrierten Aufmerksamkeitsmechanismus und einen mehrskaligen Informations-Extraktor verwendet. Dieses System konstruiert ein genaueres 3D-Umgebungsmodell durch die Fusion von semantischen, Form- und geometrischen Orientierungseigenschaften. Gleichzeitig wird zur tiefgreifenden Erschließung semantischer Informationen in Bildern ein vortrainierter, eingefrorener 2D-Segmentierungsalgorithmus eingesetzt, der semantische Merkmale extrahiert und eine starke Unterstützung für die 3D-Umgebungsrekonstruktion bietet. Darüber hinaus werden ein Mehrschichtiges Perzeptron und Interpolationstechniken verwendet, um mehrskalige Merkmale zu extrahieren und Informationen auf unterschiedlichen Skalen zu unterscheiden. Dies ermöglicht das effektive Dekodieren von semantischen, RGB- und Truncated Signed Distance Field (TSDF)-Werten aus den fusionierten Merkmalen und erzielt eine hochwertige Informationsdarstellung. Experimentelle Ergebnisse zeigen, dass diese Methode die auf Baselines basierenden Verfahren hinsichtlich der Genauigkeit von Kartierung und Verfolgung auf den Replica- und ScanNet-Datensätzen deutlich übertrifft. Sie zeigt außerdem überlegene Leistung bei semantischer Segmentierung und Echtzeit-sematischer Kartierung und bietet eine neue Richtung für die Weiterentwicklung der SLAM-Technologie.