Innerer Monolog: Verkörpertes Denken durch Planung mit Sprachmodellen

Jüngste Arbeiten haben gezeigt, wie die Denkfähigkeiten von Large Language Models (LLMs) auf Bereiche angewendet werden können, die über die Verarbeitung natürlicher Sprache hinausgehen, wie etwa Planung und Interaktion für Roboter. Diese verkörperten Probleme erfordern, dass ein Agent viele semantische Aspekte der Welt versteht: das Repertoire verfügbarer Fähigkeiten, wie diese Fähigkeiten die Welt beeinflussen und wie Veränderungen der Welt auf die Sprache zurückgeführt werden können. LLMs, die in verkörperten Umgebungen planen, müssen nicht nur überlegen, welche Fähigkeiten sie ausführen, sondern auch wann und wie sie diese ausführen – Antworten, die sich im Laufe der Zeit in Reaktion auf die eigenen Entscheidungen des Agenten ändern. In dieser Arbeit untersuchen wir, inwieweit LLMs, die in solchen verkörperten Kontexten eingesetzt werden, über Rückmeldungen, die durch natürliche Sprache gegeben werden, ohne zusätzliche Schulung schlussfolgern können. Wir schlagen vor, dass LLMs durch die Nutzung von Umwelt-Feedback einen inneren Monolog bilden können, der ihnen ermöglicht, in robotischen Steuerungsszenarien reichhaltiger zu verarbeiten und zu planen. Wir untersuchen verschiedene Quellen von Feedback, wie Erfolgserkennung, Szenenbeschreibung und menschliche Interaktion. Wir stellen fest, dass geschlossenes sprachliches Feedback die Erfüllung von Anweisungen auf hoher Ebene in drei Domänen deutlich verbessert, darunter simulierte und reale Tisch-Umbau-Aufgaben sowie Langzeit-Mobilmanipulationsaufgaben in einer Küchenumgebung in der realen Welt.