Alucinación de Código

Modelos generativos como los grandes modelos de lenguaje se utilizan extensamente como copilotos de código y para la generación completa de programas. Sin embargo, los programas que generan a menudo presentan dudas sobre su corrección, autenticidad y fiabilidad en términos de integración, ya que podrían no seguir los requisitos del usuario, proporcionar salidas incorrectas y/o sin sentido, o incluso contener errores semánticos/sintácticos, conocido en conjunto como alucinación de LLM. En este trabajo, presentamos varios tipos de alucinación de código. Hemos generado manualmente dicho código alucinado utilizando grandes modelos de lenguaje. También presentamos una técnica — HallTrigger — para demostrar maneras eficientes de generar alucinaciones arbitrarias de código. Nuestro método aprovecha 3 atributos dinámicos diferentes de los LLM para crear indicaciones que puedan desencadenar exitosamente alucinaciones en los modelos sin necesidad de acceder a la arquitectura o parámetros del modelo. Los resultados de modelos populares de caja negra sugieren que HallTrigger es efectivamente eficiente y que la alucinación extendida de LLM tiene un impacto considerable en el desarrollo de software.