Neuro-Vision zur Sprache: Bildrekonstruktion und sprachgestützte Interaktion mittels Hirnaufzeichnungen

Die Entschlüsselung nicht-invasiver Hirnaufzeichnungen ist entscheidend für das Verständnis der menschlichen Kognition, steht jedoch vor Herausforderungen durch individuelle Unterschiede und komplexe neuronale Signalrepräsentationen. Traditionelle Methoden erfordern maßgeschneiderte Modelle und umfangreiche Versuche und fehlen in der Interpretierbarkeit bei visuellen Rekonstruktionsaufgaben. Unser Framework integriert 3D-Hirnstrukturen mit visueller Semantik über Vision Transformer 3D. Der einheitliche Merkmalsextraktor bringt fMRT-Merkmale effizient mit mehreren Ebenen visueller Einbettungen in Einklang, wodurch individuelle Modelle überflüssig werden und die Extraktion aus Einzeldurchgängen möglich ist. Dieser Extraktor fasst mehrstufige visuelle Merkmale in einem Netzwerk zusammen, was die Integration mit großen Sprachmodellen (LLMs) vereinfacht. Zusätzlich haben wir den fMRT-Datensatz mit verschiedenen fMRT-Bild-bezogenen Textdaten erweitert, um multimodale große Modellentwicklungen zu unterstützen. Die Integration mit LLMs verbessert die Entschlüsselungsfähigkeiten und ermöglicht Aufgaben wie Hirnbeschriftung, Frage-Antwort, detaillierte Beschreibungen, komplexes Schlussfolgern und visuelle Rekonstruktion. Unser Ansatz zeigt nicht nur überlegene Leistungen in diesen Aufgaben, sondern identifiziert und manipuliert auch sprachbasierte Konzepte in Hirnsignalen präzise, was die Interpretierbarkeit steigert und tiefere Einblicke in neuronale Prozesse bietet. Diese Fortschritte erweitern die Anwendbarkeit nicht-invasiver Hirnentschlüsselung in Neurowissenschaft und Mensch-Maschine-Interaktion erheblich und ebnen den Weg für fortschrittliche Hirn-Computer-Schnittstellen und kognitive Modelle.