¿Son efectivos los LLM como negociadores? Evaluación sistemática de las capacidades multifacéticas de los LLM en diálogos de negociación

Una negociación exitosa requiere una profunda comprensión del contexto de la conversación, habilidades de Teoría de la Mente (ToM) para inferir los motivos de la contraparte, así como razonamiento estratégico y comunicación efectiva, lo que representa un desafío para los sistemas automatizados. Dado el rendimiento notable de los LLM en una variedad de tareas de PLN, en este trabajo buscamos entender cómo los LLM pueden avanzar en diferentes aspectos de la investigación en negociación, desde el diseño de sistemas de diálogo hasta la provisión de retroalimentación pedagógica y la ampliación de las prácticas de recolección de datos. Para ello, diseñamos una metodología para analizar las capacidades multifacéticas de los LLM en diversos escenarios de diálogo que cubren todas las etapas temporales de una interacción típica de negociación. Nuestro análisis contribuye a la creciente evidencia de la superioridad de GPT-4 en varias tareas, al tiempo que ofrece perspectivas sobre tareas específicas que siguen siendo difíciles para los LLM. Por ejemplo, los modelos tienen una correlación pobre con jugadores humanos al realizar evaluaciones subjetivas sobre los diálogos de negociación y a menudo tienen dificultades para generar respuestas que sean contextualmente apropiadas y estratégicamente ventajosas.