Aprendo Mejor Si Hablas Mi Idioma: Mejorando el Ajuste Fino de Grandes Modelos de Lenguaje con Ajustes de Respuesta Alineados al Estilo

El ajuste fino de grandes modelos de lenguaje (LLMs) con un conjunto de datos pequeño para tareas particulares es un desafío común pero complejo. El potencial de sobreajuste con un número limitado de ejemplos puede impactar negativamente la capacidad del modelo para generalizar y retener sus habilidades originales. Nuestra investigación explora el impacto del estilo de las respuestas de verdad terrestre durante el proceso de ajuste fino. Encontramos que coincidir el estilo de la respuesta de verdad terrestre con el estilo inherente del LLM resulta en mejores resultados de aprendizaje. Basándonos en esta idea, desarrollamos un método que altera mínimamente las respuestas preexistentes del LLM para corregir errores, usando estas respuestas ajustadas como objetivos de entrenamiento. Esta técnica permite correcciones precisas alineadas con el estilo nativo de respuesta del modelo, protegiendo las capacidades centrales del modelo y evitando así el sobreajuste. Nuestros hallazgos muestran que este enfoque no solo mejora la precisión específica en la tarea del LLM sino que también mantiene crucialmente sus competencias y efectividad originales.