Auf Aufmerksamkeit basierendes Denken: Das Potenzial großer Sprachmodelle erschließen

Große Sprachmodelle (LLMs) haben bemerkenswerte Fähigkeiten gezeigt, aber ihre Denkfähigkeiten und zugrunde liegenden Mechanismen sind noch wenig verstanden. Wir stellen einen neuartigen Ansatz vor, um das Denken von LLMs durch Optimierung des Aufmerksamkeitsmechanismus zu verbessern, ohne zusätzliche Trainingsdaten zu benötigen. Wir identifizieren Ineffizienzen in der Aufmerksamkeitsverteilung, verursacht durch nicht-semantische Tokens, und schlagen einen Algorithmus vor, um die verzerrte Verteilung auszugleichen, wodurch das Modell abstrakteres, nuancierteres Wissen erfassen kann. Unsere Experimente zeigen deutlich verbesserte Denkfähigkeiten, insbesondere bei nicht-naturwissenschaftlichen Fragen. Wir liefern Einblicke in die Rolle von Aufmerksamkeitsmustern beim Denken von LLMs und schlagen eine Methode vor, diese Fähigkeiten zu stärken, was den Weg für leistungsfähigere und vielseitigere Sprachmodelle ebnet.