Modelos multimodais de grande porte e tarefas visuais em física: análise comparativa de desempenho e custos

Resumo Modelos multimodais de grande porte (MLLMs) capazes de processar entradas tanto textuais quanto visuais estão sendo cada vez mais explorados para usos na educação em física, como tutoria, avaliação formativa e correção. Este estudo avalia uma variedade de MLLMs disponíveis publicamente em um conjunto padronizado de avaliações conceituais baseadas em pesquisa em física com imagens (inventários conceituais). Nós comparamos 15 modelos de três grandes fornecedores (Anthropic, Google e OpenAI) em 102 itens de física, focando em duas questões principais: (1) Quão bem esses modelos desempenham em tarefas conceituais de física que envolvem representações visuais? e (2) Quais são os custos financeiros associados ao seu uso? Os resultados mostram alta variabilidade tanto no desempenho quanto no custo. O desempenho dos modelos testados varia de 81,5% até 21%. Também constatamos que modelos caros nem sempre superam os mais baratos e que, dependendo das demandas do contexto, modelos mais baratos podem ser suficientemente capazes para algumas tarefas. Isso é especialmente relevante em contextos onde os recursos financeiros são limitados ou para a implementação educacional em larga escala dos MLLMs. Ao fornecer essas análises, nosso objetivo é informar professores, instituições e outros stakeholders educacionais para que possam tomar decisões baseadas em evidências sobre a seleção de modelos para uso na educação em física assistida por IA.