Exploiter les grands modèles de langage pour la chimie prédictive

Résumé L'apprentissage automatique a transformé de nombreux domaines et a récemment trouvé des applications en chimie et en science des matériaux. Les petits ensembles de données couramment rencontrés en chimie ont suscité le développement d'approches sophistiquées d'apprentissage automatique qui intègrent des connaissances chimiques pour chaque application et, par conséquent, nécessitent une expertise spécialisée pour être développées. Nous montrons ici que GPT-3, un grand modèle de langage entraîné sur d'énormes quantités de texte extrait d'Internet, peut être facilement adapté pour résoudre diverses tâches en chimie et en science des matériaux en le réglant finement pour répondre à des questions chimiques en langage naturel avec la réponse correcte. Nous avons comparé cette approche avec des modèles dédiés d'apprentissage automatique pour de nombreuses applications couvrant les propriétés des molécules et des matériaux jusqu'au rendement des réactions chimiques. De manière surprenante, notre version fine-tunée de GPT-3 peut avoir des performances comparables à celles des techniques classiques d'apprentissage automatique, voire les surpasser, notamment dans le cas de petits ensembles de données. De plus, nous pouvons effectuer une conception inverse simplement en inversant les questions. La facilité d'utilisation et les performances élevées, en particulier pour les petits ensembles de données, peuvent influencer fondamentalement l'approche de l'utilisation de l'apprentissage automatique en chimie et en science des matériaux. En plus d'une recherche bibliographique, interroger un grand modèle de langage pré-entraîné pourrait devenir une méthode courante pour amorcer un projet en tirant parti des connaissances collectives encodées dans ces modèles fondamentaux, ou pour fournir une référence de base pour des tâches prédictives.