Infundiendo Conocimiento en Modelos de Lenguaje Grandes con Indicaciones Contextuales

La infusión de conocimiento es un método prometedor para mejorar los Modelos de Lenguaje Grandes en tareas de PLN específicas de dominio, en lugar de preentrenar modelos desde cero con grandes datos. Estos LLM aumentados suelen depender de preentrenamiento adicional o indicaciones de conocimiento de un grafo de conocimiento existente, lo cual es poco práctico en muchas aplicaciones. En contraste, la infusión de conocimiento directamente desde documentos relevantes es más generalizable y alivia la necesidad de grafos de conocimiento estructurados, siendo también útil para entidades que usualmente no se encuentran en ningún grafo de conocimiento. Con esta motivación, proponemos un enfoque simple pero generalizable para la infusión de conocimiento generando indicaciones a partir del contexto en el texto de entrada. Nuestros experimentos muestran la efectividad de nuestro enfoque, que evaluamos mediante sondeos a LLMs afinados.