Evaluación comparativa de la capacidad Text-to-SQL de los Modelos de Lenguaje Grandes: Una evaluación integral

Los Modelos de Lenguaje Grandes (LLMs) han surgido como una herramienta poderosa para avanzar en la tarea Text-to-SQL, superando significativamente los métodos tradicionales. Sin embargo, como un campo de investigación incipiente, aún no existe consenso sobre las plantillas óptimas de prompt y los marcos de diseño. Además, los benchmarks existentes exploran de manera insuficiente el rendimiento de los LLMs en las diversas sub-tareas del proceso Text-to-SQL, lo que dificulta la evaluación de las capacidades cognitivas de los LLMs y la optimización de las soluciones basadas en ellos. Para abordar estos problemas, primero construimos un nuevo conjunto de datos diseñado para mitigar el riesgo de sobreajuste en los LLMs. Luego formulamos cinco tareas de evaluación para valorar comprensivamente el desempeño de diversos métodos en varios LLMs a lo largo del proceso Text-to-SQL. Nuestro estudio destaca las disparidades de rendimiento entre los LLMs y propone soluciones óptimas de aprendizaje en contexto adaptadas a cada tarea. Estos hallazgos ofrecen valiosas perspectivas para mejorar el desarrollo de sistemas Text-to-SQL basados en LLMs.