LLMs mit Chain-of-Thought sind nicht-kausale Schlussfolgerer

Dieses Papier untersucht die Rolle der Chain of Thought (CoT) beim Schlussfolgern von Large Language Models (LLMs). Trotz ihres Potenzials, die Aufgabenleistung zu verbessern, zeigt unsere Analyse eine überraschende Häufigkeit korrekter Antworten nach fehlerhaften CoTs und umgekehrt. Wir verwenden kausale Analysen, um die Ursache-Wirkungs-Beziehung zwischen CoTs/Anweisungen und Antworten in LLMs zu bewerten und decken das Strukturkausalmodell (SCM) auf, das LLMs approximieren. Durch den Vergleich des implizierten SCM mit dem menschlichen Denkprozess heben wir Diskrepanzen zwischen LLM- und menschlichen Denkprozessen hervor. Wir untersuchen weiterhin die Faktoren, die die kausale Struktur des implizierten SCM beeinflussen, und zeigen, dass In-Context Learning, überwachtes Fine-Tuning und Reinforcement Learning auf Basis menschlichen Feedbacks die kausalen Beziehungen erheblich beeinflussen. Wir stellen den Code und die Ergebnisse unter https://github.com/StevenZHB/CoTCausalAnalysis bereit.