Défi TextMine 2025 : Utilização de Grandes Modelos de Linguagem para Extração de Relações em Relatórios de Inteligência

Sistemas modernos de inteligência artificial (IA) são alimentados por modelos de base. Este artigo apresenta um novo conjunto de modelos de base, chamados Llama 3. Trata-se de um conjunto de modelos de linguagem que suportam nativamente multilinguismo, codificação, raciocínio e uso de ferramentas. Nosso maior modelo é um Transformer denso com 405B parâmetros e uma janela de contexto de até 128K tokens. Este artigo apresenta uma avaliação empírica extensa do Llama 3. Constatamos que o Llama 3 oferece qualidade comparável a modelos de linguagem líderes, como GPT-4, em uma variedade de tarefas. Publicamos o Llama 3, incluindo versões pré-treinadas e pós-treinadas do modelo de linguagem com 405B parâmetros e nosso modelo Llama Guard 3 para segurança de entrada e saída. O artigo também apresenta resultados de experimentos nos quais integramos capacidades de imagem, vídeo e fala ao Llama 3 por meio de uma abordagem composicional. Observamos que esta abordagem tem desempenho competitivo com o estado da arte em tarefas de reconhecimento de imagem, vídeo e fala. Os modelos resultantes ainda não estão sendo amplamente liberados, pois ainda estão em desenvolvimento.