Évaluation des grands modèles de langage sur la compréhension des caractéristiques des séries temporelles : une taxonomie complète et un benchmark

Les grands modèles de langage (LLMs) offrent un potentiel pour l'analyse automatique et le reporting des séries temporelles, une tâche cruciale dans de nombreux domaines, notamment la santé, la finance, le climat, l'énergie, et bien d'autres. Dans cet article, nous proposons un cadre pour évaluer rigoureusement les capacités des LLMs à comprendre les séries temporelles, englobant les formes univariées et multivariées. Nous introduisons une taxonomie complète des caractéristiques des séries temporelles, un cadre critique qui définit diverses propriétés inhérentes aux données de séries temporelles. En tirant parti de cette taxonomie, nous avons conçu et synthétisé systématiquement un ensemble de données diversifié de séries temporelles, illustrant les différentes caractéristiques décrites. Cet ensemble de données sert de base solide pour évaluer la compétence des LLMs à comprendre les séries temporelles. Nos expériences mettent en lumière les forces et les limites des LLMs à la pointe dans la compréhension des séries temporelles, révélant quelles caractéristiques ces modèles saisissent efficacement et où ils butent. De plus, nous mettons en évidence la sensibilité des LLMs à divers facteurs, notamment le formatage des données, la position des points interrogés dans une série et la longueur globale de la série temporelle.