Jenseits von Handbüchern und Aufgaben: Instanzbezogenes Kontextlernen für LLM-Agenten

Große Sprachmodell-Agenten (LLM-Agenten) erhalten typischerweise zwei Arten von Kontext: (i) Handbücher auf Umgebungs-Ebene, die Interaktionsschnittstellen und globale Regeln definieren, und (ii) aufgabenbezogene Anleitungen oder Demonstrationen, die an spezifische Ziele gebunden sind. In dieser Arbeit identifizieren wir einen entscheidenden, aber übersehenen dritten Kontexttyp, den instanzbezogenen Kontext, der verifizierbare und wiederverwendbare Fakten umfasst, die an eine spezifische Umgebungsinstanz gebunden sind, wie Objektpositionen, Handwerksrezepte und lokale Regeln. Wir argumentieren, dass das Fehlen von instanzbezogenem Kontext eine häufige Fehlerquelle für LLM-Agenten bei komplexen Aufgaben ist, da der Erfolg oft nicht nur vom Schlussfolgern über globale Regeln oder Aufgabenaufforderungen abhängt, sondern auch von Entscheidungen basierend auf präzisen und persistenten Fakten. Das Aneignen eines solchen Kontexts erfordert mehr als nur Auswendiglernen: Die Herausforderung liegt darin, diese Fakten unter engen Interaktionsbudgets effizient zu erforschen, zu validieren und zu formatieren. Wir formalisieren dieses Problem als Instance-Level Context Learning (ILCL) und stellen unsere aufgabenagnostische Methode zu dessen Lösung vor. Unsere Methode führt eine geführte Exploration durch, nutzt einen kompakten TODO-Wald zur intelligenten Priorisierung der nächsten Aktionen und eine leichte Plan-Act-Extract-Schleife zu deren Ausführung. Dieser Prozess erzeugt automatisch ein hochpräzises Kontextdokument, das für viele nachgelagerte Aufgaben und Agenten wiederverwendbar ist, wodurch die anfänglichen Erkundungskosten amortisiert werden. Experimente in TextWorld, ALFWorld und Crafter zeigen konsistente Verbesserungen sowohl bei Erfolg als auch Effizienz: So steigt z.B. die mittlere Erfolgsquote von ReAct in TextWorld von 37 % auf 95 %, während IGE von 81 % auf 95 % verbessert wird. Indem wir einmalige Erkundungen in persistentes, wiederverwendbares Wissen verwandeln, ergänzt unsere Methode bestehende Kontexte, um zuverlässigere und effizientere LLM-Agenten zu ermöglichen.