La Eficacia de los LLM como Anotadores: Una Visión Comparativa y Análisis Empírico de la Representación Directa

Los Modelos de Lenguaje Grande (LLMs) han surgido como herramientas de apoyo poderosas en diversas tareas de lenguaje natural y en una variedad de dominios de aplicación. Estudios recientes se enfocan en explorar sus capacidades para la anotación de datos. Este artículo ofrece una visión comparativa de doce estudios que investigan el potencial de los LLM para etiquetar datos. Aunque los modelos muestran beneficios prometedores en ahorro de costos y tiempo, existen limitaciones considerables, tales como representatividad, sesgo, sensibilidad a variaciones en las indicaciones y preferencia por el idioma inglés. Aprovechando los conocimientos de estos estudios, nuestro análisis empírico examina además la alineación entre las distribuciones de opinión generadas por humanos y por GPT en cuatro conjuntos de datos subjetivos. En contraste con los estudios que examinan la representación, nuestra metodología obtiene directamente la distribución de opinión de GPT. Nuestro análisis apoya así a la minoría de estudios que consideran perspectivas diversas al evaluar tareas de anotación de datos y destaca la necesidad de una mayor investigación en esta dirección.