Mitigación de las Alucinaciones en Modelos de Lenguaje Grande mediante Afinamiento Fiel

Los grandes modelos de lenguaje (LLMs) han demostrado un rendimiento notable en diversas tareas de procesamiento de lenguaje natural. Sin embargo, son propensos a generar respuestas fluidas pero falsas, conocidas como "alucinaciones". Las alucinaciones pueden llevar a la difusión de información errónea y causar daños en aplicaciones críticas. Mitigar las alucinaciones es un desafío, ya que surgen de factores como datos ruidosos, exceso de confianza del modelo, falta de conocimiento y el propio proceso de generación. Esfuerzos recientes han intentado abordar este problema a través de la edición de representaciones y algoritmos de decodificación, reduciendo las alucinaciones sin grandes cambios estructurales o reentrenamiento. Sin embargo, estos enfoques o bien editan implícitamente el comportamiento de los LLMs en el espacio latente o suprimen la tendencia a producir resultados no fieles durante la decodificación, en lugar de modelar de forma explícita la alucinación. En este trabajo, presentamos Faithful Finetuning (F2), un método novedoso que modela explícitamente el proceso de respuesta fiel durante el afinamiento mediante funciones de pérdida cuidadosamente diseñadas. Realizamos experimentos extensos en conjuntos de datos populares y demostramos que F2 logra mejoras significativas sobre los modelos básicos y otras líneas base.