Treinando Agentes Dentro de Modelos Mundiais Escaláveis

Modelos mundiais aprendem conhecimento geral a partir de vídeos e simulam experiências para treinar comportamentos na imaginação, oferecendo um caminho para agentes inteligentes. No entanto, modelos mundiais anteriores não foram capazes de prever com precisão as interações de objetos em ambientes complexos. Apresentamos o Dreamer 4, um agente escalável que aprende a resolver tarefas de controle por meio de aprendizado por reforço dentro de um modelo mundial rápido e preciso. No complexo videogame Minecraft, o modelo mundial prevê com precisão as interações de objetos e a mecânica do jogo, superando modelos mundiais anteriores por uma margem ampla. O modelo mundial alcança inferência interativa em tempo real em uma única GPU por meio de um objetivo de atalho forçado e uma arquitetura transformadora eficiente. Além disso, o modelo mundial aprende condicionamento geral de ações com apenas uma pequena quantidade de dados, permitindo extrair a maior parte de seu conhecimento de vídeos diversos e não rotulados. Propomos o desafio de obter diamantes no Minecraft usando apenas dados offline, alinhado às aplicações práticas como robótica, onde aprender pela interação com o ambiente pode ser inseguro e lento. Essa tarefa requer escolher sequências de mais de 20.000 ações de mouse e teclado a partir de pixels brutos. Ao aprender comportamentos na imaginação, o Dreamer 4 é o primeiro agente a obter diamantes no Minecraft puramente a partir de dados offline, sem interação com o ambiente. Nosso trabalho fornece uma receita escalável para treinamento por imaginação, marcando um passo rumo a agentes inteligentes.