¿Arte o Artilugio? Modelos de Lenguaje a Gran Escala y la Falsa Promesa de la Creatividad

Investigadores han argumentado que los modelos de lenguaje a gran escala (LLMs) exhiben capacidades de escritura de alta calidad desde blogs hasta relatos. Sin embargo, evaluar objetivamente la creatividad de un texto es un desafío. Inspirados en el Torrance Test of Creative Thinking (TTCT) 64, que mide la creatividad como un proceso, usamos la Técnica de Evaluación Consensuada 3 y proponemos el Torrance Test of Creative Writing (TTCW) para evaluar la creatividad como producto. El TTCW consta de 14 pruebas binarias organizadas en las dimensiones originales de Fluidez, Flexibilidad, Originalidad y Elaboración. Reclutamos a 10 escritores creativos e implementamos una evaluación humana de 48 relatos escritos ya sea por autores profesionales o LLMs usando TTCW. Nuestro análisis muestra que los relatos generados por LLMs superan entre 3 y 10 veces menos pruebas TTCW que los relatos escritos por profesionales. Además, exploramos el uso de LLMs como evaluadores para automatizar la evaluación TTCW, revelando que ninguno de los LLMs correlaciona positivamente con las evaluaciones de expertos.