MathScape : Évaluation des MLLMs dans des scénarios mathématiques multimodaux via un benchmark hiérarchique

Avec le développement des modèles de langage large multimodaux (MLLMs), l’évaluation des modèles multimodaux dans le contexte des problèmes mathématiques est devenue un domaine de recherche précieux. Le raisonnement mathématique multimodal visuel-textuel constitue un indicateur critique pour évaluer la compréhension et les capacités complexes de raisonnement quantitatif multi-étapes des MLLMs. Cependant, les benchmarks mathématiques multimodaux précédents n’ont pas suffisamment intégré les informations visuelles et textuelles. Pour combler cette lacune, nous avons proposé MathScape, un nouveau benchmark qui met l'accent sur la compréhension et l’application combinée des informations visuelles et textuelles. MathScape est conçu pour évaluer des scénarios de problèmes mathématiques basés sur des photos, en évaluant par une approche hiérarchique catégorielle la compréhension théorique et la capacité d’application des MLLMs. Nous réalisons une évaluation multidimensionnelle sur 11 MLLMs avancés, révélant que notre benchmark est difficile même pour les modèles les plus sophistiqués. En analysant les résultats, nous identifions les limites des MLLMs, offrant des perspectives précieuses pour améliorer leurs performances.