Especialização funcional compartilhada em modelos de linguagem baseados em transformer e no cérebro humano

Resumo Ao processar a linguagem, acredita-se que o cérebro utilize computações especializadas para construir significado a partir de estruturas linguísticas complexas. Recentemente, redes neurais artificiais baseadas na arquitetura Transformer revolucionaram o campo do processamento de linguagem natural. Transformers integram informações contextuais entre palavras por meio de computações estruturadas em circuito. Trabalhos anteriores focaram nas representações internas (“embeddings”) geradas por esses circuitos. Neste artigo, analisamos diretamente as computações dos circuitos: desconstruímos essas computações nas “transformações” funcionalmente especializadas que integram informações contextuais entre palavras. Usando dados de ressonância magnética funcional adquiridos enquanto os participantes ouviam histórias naturalistas, primeiro verificamos que as transformações explicam uma variação considerável na atividade cerebral através da rede cortical linguística. Em seguida, demonstramos que as computações emergentes realizadas por "attention heads" individualmente funcionalmente especializados predizem diferencialmente a atividade cerebral em regiões corticais específicas. Essas heads se distribuem ao longo de gradientes correspondentes a diferentes camadas e comprimentos de contexto em um espaço cortical de baixa dimensionalidade.