Apprentissage des dynamiques stochastiques et prédiction du comportement émergent à l'aide de transformers

Nous montrons qu'un réseau neuronal initialement conçu pour le traitement du langage peut apprendre les règles dynamiques d'un système stochastique en observant une seule trajectoire dynamique du système, et peut prédire avec précision son comportement émergent dans des conditions non observées pendant l'entraînement. Nous considérons un modèle en réseau de matière active subissant une dynamique Monte Carlo en temps continu, simulé à une densité pour laquelle son état stationnaire comprend de petits clusters dispersés. Nous entraînons un réseau neuronal appelé transformer sur une seule trajectoire du modèle. Le transformer, dont nous montrons qu'il a la capacité de représenter des règles dynamiques nombreuses et non locales, apprend que la dynamique de ce modèle consiste en un petit nombre de processus. Les trajectoires propagées vers l'avant du transformer entraîné, à des densités non rencontrées lors de l'entraînement, présentent une séparation de phase induite par la motilité et prédisent donc l'existence d'une transition de phase hors d'équilibre. Les transformers ont la flexibilité d'apprendre des règles dynamiques par observation sans énumération explicite des taux ni réduction grossière de l'espace des configurations, si bien que la procédure utilisée ici peut être appliquée à une large gamme de systèmes physiques, y compris ceux avec de grands générateurs dynamiques complexes.