Défi TextMine 2025 : Utilización de Grandes Modelos de Lenguaje para la Extracción de Relaciones en Informes de Inteligencia

Los sistemas modernos de inteligencia artificial (IA) están impulsados por modelos fundamentales. Este artículo presenta un nuevo conjunto de modelos fundamentales, llamados Llama 3. Es una serie de modelos de lenguaje que soportan de manera nativa la multilingüidad, codificación, razonamiento y uso de herramientas. Nuestro modelo más grande es un Transformer denso con 405 mil millones de parámetros y una ventana de contexto de hasta 128K tokens. Este artículo presenta una evaluación empírica extensa de Llama 3. Encontramos que Llama 3 ofrece una calidad comparable a la de los principales modelos de lenguaje como GPT-4 en una gran variedad de tareas. Publicamos públicamente Llama 3, incluyendo versiones preentrenadas y postentrenadas del modelo de lenguaje de 405 mil millones de parámetros y nuestro modelo Llama Guard 3 para seguridad de entrada y salida. El artículo también presenta los resultados de experimentos en los que integramos capacidades de imagen, video y habla en Llama 3 mediante un enfoque composicional. Observamos que este enfoque tiene un rendimiento competitivo con el estado del arte en tareas de reconocimiento de imagen, video y habla. Los modelos resultantes aún no se están liberando ampliamente ya que están en desarrollo.