Rekonstruktion von weichem robotischem Tastsinn mittels In-Finger-Vision

Die Integration authentischer taktiler Interaktionen in virtuelle Umgebungen stellt eine bedeutende Herausforderung für die aufkommende Entwicklung weicher robotischer Metamaterialien dar. In dieser Studie wird ein visionsbasierter Ansatz vorgestellt, um propriozeptive Interaktionen zu erlernen, indem gleichzeitig die Form und Berührung eines weichen robotischen Metamaterials (SRM) während physischer Kontakte rekonstruiert wird. Das SRM-Design ist auf die Größe eines Fingers optimiert, bietet verbesserte Anpassungsfähigkeit bei 3D-Interaktionen und beinhaltet ein durchscheinendes Sichtfeld im Inneren, das von einer Miniaturkamera darunter visuell erfasst werden kann, um eine Vielzahl von Bildmerkmalen für die Digitalisierung von Berührungen bereitzustellen. Durch den Einsatz eingeschränkter geometrischer Optimierung wird der propriozeptive Prozess mit aggregierten Multi-Handles modelliert. Dieser Ansatz ermöglicht eine präzise, realistische und Echtzeit-Schätzung der Netzverformung des Fingers innerhalb einer virtuellen Umgebung. Außerdem wird ein datengetriebenes Lernmodell vorgeschlagen, um Berührungspositionen zu schätzen, das zuverlässige Ergebnisse mit beeindruckenden R²-Werten von 0,9681, 0,9415 und 0,9541 entlang der x-, y- und z-Achsen erzielt. Weiterhin wird die robuste Leistung der vorgeschlagenen Methoden bei berührungsbasierten Mensch-Cybernetik-Schnittstellen und der kollaborativen Greifarbeit zwischen Mensch und Roboter demonstriert. Diese Studie öffnet die Tür zu zukünftigen Anwendungen in berührungsbasierten Digital-Twin-Interaktionen durch visionsbasierte weiche Propriozeption.