Défi TextMine 2025 : Utilisation des Grands Modèles de Langue pour l'Extraction de Relations dans les Rapports de Renseignement

Les systèmes modernes d'intelligence artificielle (IA) sont alimentés par des modèles de fondation. Cet article présente un nouvel ensemble de modèles de fondation, appelés Llama 3. Il s'agit d'un groupe de modèles linguistiques qui prennent en charge nativement le multilinguisme, la programmation, le raisonnement et l'utilisation d'outils. Notre plus grand modèle est un Transformer dense avec 405B paramètres et une fenêtre contextuelle pouvant atteindre 128K tokens. Cet article présente une évaluation empirique approfondie de Llama 3. Nous constatons que Llama 3 offre une qualité comparable à celle des modèles linguistiques de pointe tels que GPT-4 sur une multitude de tâches. Nous rendons public Llama 3, y compris les versions pré-entraînées et post-entraînées du modèle linguistique de 405B paramètres ainsi que notre modèle Llama Guard 3 pour la sécurité des entrées et sorties. L'article présente aussi les résultats d'expériences intégrant les capacités d'image, vidéo et parole dans Llama 3 via une approche compositionnelle. Nous observons que cette approche est compétitive avec l'état de l'art pour les tâches de reconnaissance d'image, vidéo et parole. Les modèles obtenus ne sont pas encore largement diffusés car ils sont encore en cours de développement.