MobileAIBench: Avaliação de LLMs e LMMs para Casos de Uso em Dispositivos Móveis

A implantação de Large Language Models (LLMs) e Large Multimodal Models (LMMs) em dispositivos móveis ganhou atenção significativa devido aos benefícios de maior privacidade, estabilidade e personalização. No entanto, as limitações de hardware dos dispositivos móveis exigem o uso de modelos com menos parâmetros e técnicas de compressão de modelos como a quantização. Atualmente, há um entendimento limitado do impacto da quantização em diversas performances de tarefas, incluindo tarefas de LLM, tarefas de LMM e, criticamente, confiança e segurança. Falta ferramentas adequadas para testar sistematicamente esses modelos em dispositivos móveis. Para preencher essas lacunas, apresentamos o MobileAIBench, uma estrutura abrangente de benchmarking para avaliação de LLMs e LMMs otimizados para dispositivos móveis. O MobileAIBench avalia modelos de diferentes tamanhos, níveis de quantização e tarefas, medindo latência e consumo de recursos em dispositivos reais. Nossa estrutura open-source em duas partes inclui uma biblioteca para execução de avaliações em desktops e um aplicativo iOS para medir latência no dispositivo e utilização de hardware. Nossa análise detalhada busca acelerar a pesquisa e implantação de IA móvel fornecendo insights sobre desempenho e viabilidade de implantar LLMs e LMMs em plataformas móveis.