Clasificación de LLMs por compresión

Conceptualizamos el proceso de comprensión como compresión de información y proponemos un método para clasificar grandes modelos de lenguaje (LLMs) basándonos en la compresión de datos sin pérdida. Demostramos la equivalencia de la longitud de compresión bajo codificación aritmética con la suma acumulada de logaritmos negativos de probabilidades al usar un gran modelo de lenguaje como priori; es decir, la fase de preentrenamiento del modelo es esencialmente el proceso de aprender la longitud óptima de codificación. Al mismo tiempo, la métrica de evaluación ratio de compresión se puede obtener sin compresión real, lo cual ahorra significativamente los costos. En este artículo, usamos cinco grandes modelos de lenguaje como prioritarios para la compresión, y luego comparamos su desempeño en tareas complejas de procesamiento de lenguaje natural, incluyendo completado de oraciones, respuesta a preguntas y resolución de correferencia. Los resultados experimentales muestran que el ratio de compresión y el desempeño del modelo están positivamente correlacionados, por lo que puede usarse como una métrica general para evaluar grandes modelos de lenguaje.