MetaLLM: Uma estrutura dinâmica de alto desempenho e custo-eficiente para encapsulamento de LLMs

O rápido progresso em machine learning (ML) trouxe muitos grandes modelos de linguagem (LLMs) que se destacam em várias tarefas e áreas. Esses LLMs possuem diferentes habilidades e custos em termos de computação ou preço. Como a demanda por cada consulta pode variar, por exemplo, devido ao domínio consultado ou sua complexidade, optar por um único LLM em uma aplicação geralmente não é a melhor escolha, seja ele o maior, o mais caro ou mesmo aquele com melhor desempenho médio em testes. Consequentemente, escolher o LLM certo que seja ao mesmo tempo preciso e custo-efetivo para uma aplicação continua sendo um desafio. Neste artigo, apresentamos o MetaLLM, uma estrutura que direciona dinamicamente e de forma inteligente cada consulta para o LLM ideal (entre vários LLMs disponíveis) para tarefas de classificação, alcançando melhoria significativa na precisão e custo-efetividade. Ao enquadrar o problema da seleção como um bandido multi-braço, o MetaLLM equilibra precisão preditiva e eficiência de custo sob incerteza. Nossos experimentos, conduzidos em plataformas populares de LLMs como os modelos GPT da OpenAI, Titan da Amazon, Claude da Anthropic e LLaMa da Meta, demonstram a eficácia do MetaLLM em cenários do mundo real, estabelecendo a base para futuras extensões além de tarefas de classificação.