Große Sprachmodelle lassen sich leicht durch irrelevanten Kontext ablenken

Große Sprachmodelle haben beeindruckende Leistungen bei verschiedenen Aufgaben der natürlichen Sprachverarbeitung erzielt. Bisher wurden sie jedoch hauptsächlich an Benchmarks evaluiert, bei denen alle Informationen im Eingabekontext relevant für die Lösung der Aufgabe sind. In dieser Arbeit untersuchen wir die Ablenkbarkeit großer Sprachmodelle, d.h. wie die Genauigkeit bei der Problemlösung durch irrelevanten Kontext beeinflusst werden kann. Insbesondere führen wir Grade-School Math with Irrelevant Context (GSM-IC) ein, einen Datensatz für arithmetisches Denken mit irrelevanten Informationen in der Problembeschreibung. Wir nutzen diesen Benchmark, um die Ablenkbarkeit moderner Prompting-Techniken für große Sprachmodelle zu messen, und stellen fest, dass die Modellleistung dramatisch abnimmt, wenn irrelevante Informationen hinzugefügt werden. Außerdem identifizieren wir mehrere Ansätze zur Minderung dieses Defizits, wie zum Beispiel Dekodierung mit Selbst-Konsistenz und das Hinzufügen einer Anweisung zum Prompt, die das Sprachmodell anweist, die irrelevanten Informationen zu ignorieren.