CaLM: Contraste entre Modelos de Lenguaje Grandes y Pequeños para Verificar la Generación Fundamentada

La generación fundamentada busca dotar a los modelos de lenguaje (LMs) con la capacidad de producir respuestas más creíbles y responsables mediante la cita precisa de fuentes verificables. Sin embargo, los métodos existentes, al alimentar a los LMs con materiales en bruto o preprocesados, siguen siendo propensos a errores. Para abordar esto, introducimos CaLM, un novedoso marco de verificación. CaLM aprovecha la idea de que una respuesta fundamentada robusta debe ser consistente con la información derivada únicamente de sus fuentes citadas. Nuestro marco capacita a LMs más pequeños, que dependen menos de la memoria paramétrica y sobresalen en el procesamiento de información relevante dado un query, para validar la salida de LMs más grandes. Se verifican las respuestas del LM más grande que se alinean estrechamente con la salida de LMs más pequeños, que se basa exclusivamente en documentos citados. Las respuestas que muestran discrepancias se refinan iterativamente mediante un bucle de retroalimentación. Experimentos en tres conjuntos de datos de preguntas y respuestas de dominio abierto demuestran ganancias significativas en rendimiento de entre 1.5% y 7% absoluto en promedio sin necesidad de ajuste fino del modelo.