Chain-of-Thought (CoT) Prompts haben sich als äußerst effektiv erwiesen, um die Denkfähigkeiten von großen Sprachmodellen (LLMs) zu verbessern. Bestehende CoT-Optimierungsansätze verfügen jedoch noch nicht über systematische Mechanismen zur Bewertung und Verfeinerung von Prompts. Um diese Lücke zu schließen, schlagen wir Adversarial Chain-of-Thought (adv-CoT) vor, ein Framework, das adversariales Lernen in die Optimierung von Prompts integriert. Adv-CoT verfeinert iterativ einen anfänglichen Prompt durch Generator-Diskriminator-Interaktionen und integriert sowohl Feedback- als auch Verifizierungsmechanismen. Dieser Prozess ermöglicht gezieltere und interpretierbarere Verbesserungen der CoT-Anweisungen und -Demonstrationen. Wir bewerten adv-CoT auf zwölf Datensätzen über commonsensical, faktische, symbolische und arithmetische Denkaufgaben. Über 12 Denkdatensätze hinweg erzielt adv-CoT eine durchschnittliche Verbesserung von 4,44 % bei GPT-3.5-turbo und 1,08 % bei GPT-4o-mini, wobei beide Gewinne statistisch signifikant sind (gepaarter t-Test, p < 0,05). Die experimentellen Ergebnisse zeigen, dass das Framework konsistente, aber aufgabenabhängige Gewinne erzielt, insbesondere bei numerischen und faktischen Denkaufgaben, und wettbewerbsfähige Leistungen bei symbolischen und commonsensical Benchmarks aufrechterhält. Gepaarte Signifikanztests deuten darauf hin, dass die Verbesserungen statistisch zuverlässig bei Modellen mit hoher Kapazität sind, während die Ergebnisse bei kleineren Open-Source-Modellen eine größere Variabilität aufweisen. Obwohl diese Ergebnisse das Potenzial der adversarialen Verfeinerung für CoT-Prompts aufzeigen, bleiben die Schlussfolgerungen vorläufig. Die Effektivität von adv-CoT hängt von den Denkfähigkeiten des Basismodells ab, und die aktuelle Bewertung ist auf vier Hauptkategorien von Denkaufgaben beschränkt. Wir werden die vollständige Implementierung und Prompts zur Unterstützung weiterer Untersuchungen zu breiteren Anwendungen und allgemeineren Strategien zur Optimierung von Prompts bereitstellen.
Yang et al. (Tue,) haben diese Frage untersucht.