CodeGraph: Mejorando el razonamiento de gráficos de los LLMs con código

Con la creciente popularidad de los grandes modelos de lenguaje (LLMs), razonar sobre problemas básicos de algoritmos de grafos es un paso intermedio esencial para evaluar sus habilidades para procesar e inferir tareas complejas de razonamiento sobre grafos. Los métodos existentes suelen convertir datos estructurados en grafos a descripciones textuales y luego usan LLMs para el razonamiento y cálculo. Sin embargo, los LLMs a menudo producen errores de cálculo en las partes aritméticas de problemas básicos de algoritmos de grafos, como contar el número de aristas. Además, les cuesta controlar o entender el resultado del proceso de razonamiento, lo que genera dudas sobre si los LLMs están simplemente adivinando. En este artículo, presentamos CodeGraph, un método que codifica soluciones a problemas de grafos como código. Los métodos resuelven nuevos problemas de grafos aprendiendo de ejemplos, generando programas y ejecutándolos a través de un intérprete de programas. Usando el entorno few-shot, evaluamos CodeGraph con el LLM base siendo GPT-3.5 Turbo, Llama3-70B Instruct, Mixtral-8x22B Instruct y Mixtral-8x7B Instruct. Los resultados experimentales en seis tareas con seis métodos de codificación de grafos en el conjunto de datos GraphQA demuestran que CodeGraph puede mejorar el rendimiento en tareas de razonamiento sobre grafos dentro de los LLMs entre un 1.3% y un 58.6%, dependiendo de la tarea. En comparación con los métodos existentes, CodeGraph muestra un rendimiento sólido en problemas aritméticos en tareas de grafos y ofrece un enfoque más controlable e interpretable para el proceso de razonamiento.