Gefahren des Selbst-Feedbacks: Selbst-Bias verstärkt sich in großen Sprachmodellen

Neuere Studien zeigen, dass Selbst-Feedback große Sprachmodelle (LLMs) bei bestimmten Aufgaben verbessert, während es andere Aufgaben verschlechtert. Wir entdeckten, dass dieses Paradoxon auf die Tendenz von LLMs zurückzuführen ist, ihre eigenen Ausgaben zu bevorzugen. In diesem Artikel definieren wir formal den Selbst-Bias von LLMs – die Neigung, ihre eigene Generierung zu favorisieren – anhand von zwei Statistiken. Wir analysierten sechs LLMs bei Übersetzungen, eingeschränkter Textgenerierung und mathematischen Denkaufgaben. Wir fanden heraus, dass Selbst-Bias bei allen untersuchten LLMs über mehrere Sprachen und Aufgaben hinweg verbreitet ist. Unsere Analyse zeigt, dass während die Self-Refine-Pipeline die Flüssigkeit und Verständlichkeit der Modellausgaben verbessert, sie den Selbst-Bias weiter verstärkt. Um solche Verzerrungen zu mindern, entdeckten wir, dass eine größere Modellgröße und externes Feedback mit genauer Bewertung den Bias in der Self-Refine-Pipeline signifikant reduzieren können, was zu tatsächlichen Leistungsverbesserungen in nachgelagerten Aufgaben führt.