Construcción de puntos de referencia e intervenciones para combatir las alucinaciones en LLMs

Los grandes modelos de lenguaje (LLMs) son susceptibles a alucinaciones, lo que ha generado un esfuerzo generalizado para detectarlas y prevenirlas. Trabajos recientes intentan mitigar las alucinaciones interviniendo en el cálculo del modelo durante la generación, utilizando diferentes configuraciones y heurísticas. Estos trabajos carecen de separación entre las distintas causas de alucinación. En este trabajo, primero presentamos un enfoque para construir conjuntos de datos basados en el conocimiento del modelo para métodos de detección e intervención en escenarios de preguntas y respuestas con y sin consulta externa. Luego caracterizamos el efecto de diferentes elecciones para la intervención, como los componentes intervenidos (MLPs, bloque de atención, flujo residual y cabezas específicas), y con qué frecuencia y qué intensidad intervenir. Encontramos que el éxito de la intervención varía según el componente, siendo algunos componentes perjudiciales para las capacidades de modelado de lenguaje. Finalmente, encontramos que las intervenciones pueden beneficiarse de una dirección de ajuste previa a la alucinación en lugar de una posterior. El código está disponible en https://github.com/technion-cs-nlp/hallucination-mitigation