A Autoatenção em Redes Transformer Explica o Padrão de Olhar dos Macacos no Jogo Pac-Man

Direcionamos proativamente nossos olhos e atenção para coletar informações durante a resolução de problemas e tomada de decisão. Compreender os padrões de olhar é crucial para obter insights sobre o processamento subjacente ao processo de resolução de problemas. No entanto, falta modelos interpretáveis que expliquem como o cérebro direciona os olhos para coletar informações e utilizá-las, especialmente no contexto de resolução de problemas complexos. No presente estudo, analisamos os padrões de olhar de dois macacos enquanto jogavam Pac-Man. Treinamos uma rede transformer para imitar o jogo dos macacos e constatamos que seu padrão de atenção captura os movimentos oculares dos macacos. Além disso, a previsão baseada na atenção da rede transformer supera as previsões dos sujeitos humanos. Importante, dissecamos o processamento subjacente ao mecanismo de atenção da rede transformer, revelando suas estruturas em camadas refletindo um componente de atenção baseado em valor e um componente que captura as interações entre Pac-Man e outros objetos do jogo. Com base nesses achados, construímos um modelo de atenção condensado que é não apenas tão acurado quanto a rede transformer, mas também totalmente interpretável. Nossos resultados destacam o potencial do uso de redes neurais transformer para modelar e entender os processos cognitivos subjacentes à resolução complexa de problemas no cérebro, abrindo novas possibilidades para investigar a base neural da cognição.