InstructEdit: Edición del Conocimiento basada en Instrucciones para Modelos de Lenguaje Grandes

La edición del conocimiento para modelos de lenguaje grandes puede ofrecer una solución eficiente para alterar el comportamiento de un modelo sin impactar negativamente el rendimiento general. Sin embargo, el enfoque actual enfrenta problemas de generalización limitada a través de tareas, requiriendo un editor distinto para cada tarea, lo que dificulta significativamente las aplicaciones más amplias. Para abordar esto, damos el primer paso para analizar el problema de generalización multitarea en la edición del conocimiento. Específicamente, desarrollamos una técnica de edición basada en instrucciones, denominada InstructEdit, que facilita la adaptación del editor a diversas tareas simultáneamente usando instrucciones simples. Con un solo editor unificado para cada LLM, demostramos empíricamente que InstructEdit puede mejorar el control del editor, logrando un aumento promedio del 14.86% en la Confiabilidad en un entorno de edición multitarea. Además, experimentos con tareas no vistas indican que InstructEdit supera constantemente a líneas base fuertes previas. Para investigar más los mecanismos subyacentes de la edición del conocimiento basada en instrucciones, analizamos los componentes principales de las direcciones del gradiente de edición, lo que revela que las instrucciones pueden ayudar a controlar la dirección de optimización con una mejor generalización OOD. El código y los conjuntos de datos estarán disponibles en https://github.com/zjunlp/EasyEdit.