¿Puede ChatGPT escribir una buena consulta Booleana para la búsqueda de literatura en revisiones sistemáticas?

Las revisiones sistemáticas son revisiones exhaustivas de la literatura para una pregunta de investigación altamente específica. Estas revisiones a menudo se consideran la forma más elevada de evidencia en la medicina basada en evidencia, y son la estrategia clave para responder preguntas de investigación en el campo médico. Para crear una revisión sistemática de alta calidad, a menudo se construyen consultas Booleanas complejas para recuperar estudios sobre el tema de la revisión. Sin embargo, a menudo toma mucho tiempo para los investigadores en revisiones sistemáticas construir una consulta Booleana de alta calidad, y con frecuencia las consultas resultantes están lejos de ser efectivas. Las consultas deficientes pueden conducir a revisiones sesgadas o inválidas, porque no recuperaron evidencia clave, o a un aumento considerable en los costos de la revisión, porque recuperaron demasiados estudios irrelevantes. Los avances recientes en modelos generativos basados en Transformer han mostrado un gran potencial para seguir eficazmente instrucciones de los usuarios y generar respuestas basadas en dichas instrucciones. En este artículo, investigamos la eficacia del modelo más reciente de este tipo, ChatGPT, en la generación de consultas Booleanas efectivas para la búsqueda de literatura en revisiones sistemáticas. A través de varios experimentos extensos en colecciones de prueba estándar para la tarea, encontramos que ChatGPT es capaz de generar consultas que conducen a una alta precisión en la búsqueda, aunque a costa de la recuperación. En general, nuestro estudio demuestra el potencial de ChatGPT para generar consultas Booleanas efectivas en la búsqueda de literatura para revisiones sistemáticas. La capacidad de ChatGPT para seguir instrucciones complejas y generar consultas con alta precisión lo convierte en una herramienta valiosa para investigadores que realizan revisiones sistemáticas, particularmente para revisiones rápidas donde el tiempo es una limitación y a menudo es aceptable intercambiar una mayor precisión por una menor recuperación.