Geteilte funktionale Spezialisierung in Transformator-basierten Sprachmodellen und dem menschlichen Gehirn

Zusammenfassung Beim Verarbeiten von Sprache setzt das Gehirn spezialisierte Berechnungen ein, um Bedeutung aus komplexen linguistischen Strukturen zu konstruieren. Kürzlich haben künstliche neuronale Netzwerke auf Basis der Transformer-Architektur das Gebiet der natürlichen Sprachverarbeitung revolutioniert. Transformer integrieren kontextuelle Informationen über Wörter hinweg durch strukturierte Schaltkreisberechnungen. Frühere Arbeiten konzentrierten sich auf die internen Repräsentationen („Embeddings“), die von diesen Schaltkreisen erzeugt werden. In diesem Papier analysieren wir stattdessen direkt die Schaltkreisberechnungen: Wir zerlegen diese Berechnungen in funktional spezialisierte „Transformationen“, die kontextuelle Informationen über Wörter integrieren. Mithilfe funktioneller MRT-Daten, die bei Probanden während des Zuhörens von naturalistischen Geschichten erhoben wurden, verifizieren wir zunächst, dass die Transformationen einen beträchtlichen Anteil an Varianz der Hirnaktivität im kortikalen Sprachnetzwerk erklären. Anschließend zeigen wir, dass die entstehenden Berechnungen einzelner, funktional spezialisierter „Attention Heads“ die Hirnaktivität in spezifischen kortikalen Regionen unterschiedlich vorhersagen. Diese Heads ordnen sich entlang von Gradienten ein, die unterschiedlichen Schichten und Kontextlängen in einem niedrigdimensionalen kortikalen Raum entsprechen.