Automatisierte 3D-Rekonstruktion von mechanischen Komponenten mittels multimodalem Deep Learning

Dieses Papier präsentiert einen multimodalen Deep-Learning-Ansatz zur präzisen 3D-Rekonstruktion von mechanischen Bauteilen aus Bildern und textuellen Beschreibungen und bietet eine kostengünstige Alternative zu herkömmlichen Methoden. Durch die Kombination von hochauflösenden Bildern aus mehreren Blickwinkeln mit technischen Textdaten erzeugt das Modell genaue 3D-Darstellungen. Ein auf ResNet basierendes CNN extrahiert visuelle Merkmale, während BERT die textuellen Beschreibungen kodiert; ein Tiefenschätzungsmodul verbessert die räumliche Genauigkeit. Die Merkmale werden fusioniert, um eine 3D-Punktwolke und ein Mesh zu erzeugen. Die Ergebnisse zeigen eine gute Leistung bei der Erfassung der Gesamtform der mechanischen Teile; jedoch sind weitere Verbesserungen nötig, um die Präzision der metrischen Parameter zu erhöhen.