Los puntos clave no están disponibles para este artículo en este momento.
La edición del conocimiento para modelos de lenguaje grandes puede ofrecer una solución eficiente para alterar el comportamiento de un modelo sin impactar negativamente el rendimiento general. Sin embargo, el enfoque actual enfrenta problemas de generalización limitada a través de tareas, requiriendo un editor distinto para cada tarea, lo que dificulta significativamente las aplicaciones más amplias. Para abordar esto, damos el primer paso para analizar el problema de generalización multitarea en la edición del conocimiento. Específicamente, desarrollamos una técnica de edición basada en instrucciones, denominada InstructEdit, que facilita la adaptación del editor a diversas tareas simultáneamente usando instrucciones simples. Con un solo editor unificado para cada LLM, demostramos empíricamente que InstructEdit puede mejorar el control del editor, logrando un aumento promedio del 14.86% en la Confiabilidad en un entorno de edición multitarea. Además, experimentos con tareas no vistas indican que InstructEdit supera constantemente a líneas base fuertes previas. Para investigar más los mecanismos subyacentes de la edición del conocimiento basada en instrucciones, analizamos los componentes principales de las direcciones del gradiente de edición, lo que revela que las instrucciones pueden ayudar a controlar la dirección de optimización con una mejor generalización OOD. El código y los conjuntos de datos estarán disponibles en https://github.com/zjunlp/EasyEdit.
Building similarity graph...
Analyzing shared references across papers
Loading...
Bozhong Tian
Siyuan Cheng
Xiaozhuan Liang
Building similarity graph...
Analyzing shared references across papers
Loading...
Tian et al. (Sun,) estudiaron esta cuestión.
www.synapsesocial.com/papers/68e77b35b6db6435876ef993 — DOI: https://doi.org/10.48550/arxiv.2402.16123
Synapse has enriched 5 closely related papers on similar clinical questions. Consider them for comparative context: