Aprendendo dinâmicas estocásticas e prevendo comportamento emergente usando transformers

Mostramos que uma rede neural originalmente projetada para processamento de linguagem pode aprender as regras dinâmicas de um sistema estocástico pela observação de uma única trajetória dinâmica do sistema, e pode prever com precisão seu comportamento emergente sob condições não observadas durante o treinamento. Consideramos um modelo em rede de matéria ativa passando por dinâmicas de Monte Carlo em tempo contínuo, simuladas numa densidade na qual seu estado estacionário compreende pequenos aglomerados dispersos. Treinamos uma rede neural chamada transformer em uma única trajetória do modelo. O transformer, que mostramos ter capacidade para representar regras dinâmicas numerosas e não locais, aprende que a dinâmica deste modelo consiste em um pequeno número de processos. Trajetórias propagadas para frente do transformer treinado, em densidades não encontradas durante o treinamento, apresentam separação de fase induzida por motilidade e assim prevêem a existência de uma transição de fase em estado não-equilíbrio. Transformers têm a flexibilidade de aprender regras dinâmicas a partir da observação sem enumeração explícita de taxas ou coarse-graining do espaço de configurações, e portanto o procedimento usado aqui pode ser aplicado a uma ampla gama de sistemas físicos, incluindo aqueles com geradores dinâmicos grandes e complexos.