Ajuste fino con instrucciones ruidosas: efectos sobre la generalización y el rendimiento

El ajuste con instrucciones desempeña un papel vital en la mejora de las habilidades para resolver tareas de los grandes modelos de lenguaje (LLMs), mejorando su utilidad para generar respuestas útiles en diversas tareas. Sin embargo, trabajos previos han demostrado que son sensibles a variaciones menores en la redacción de las instrucciones. En este artículo, exploramos si introducir perturbaciones en los datos de ajuste con instrucciones puede aumentar la resistencia de los LLMs contra instrucciones ruidosas. Nos centramos en cómo el ajuste con instrucciones perturbadas, como la eliminación de palabras vacías o el desorden de palabras, afecta el rendimiento de los LLMs en las versiones originales y perturbadas de benchmarks ampliamente usados (MMLU, BBH, GSM8K). Además, evaluamos la dinámica de aprendizaje y posibles cambios en el comportamiento del modelo. Sorprendentemente, nuestros resultados sugieren que el ajuste con instrucciones perturbadas puede, en algunos casos, mejorar el rendimiento posterior. Estos hallazgos destacan la importancia de incluir instrucciones perturbadas en el ajuste, lo que puede hacer que los LLMs sean más resistentes a entradas ruidosas de los usuarios.