In-Context Learning als General-Purpose Learning: Eine umfassende Übersicht und neue Perspektiven

In-Context Learning (ICL) stellt eine leistungsfähige Fähigkeit großer Sprachmodelle (LLMs) dar, die eine dynamische Anpassung an Aufgaben während der Inferenz ohne Parameteranpassung ermöglicht – ein Rahmen, der in den Prinzipien des modellbasierten Meta-Lernens (MBML) verwurzelt ist. Ursprünglich auf das Befolgen von Anweisungen und Few-Shot-Mustervervollständigung beschränkt, hat ICL seinen ursprünglichen Umfang inzwischen deutlich überschritten. Es fungiert derzeit als Katalysator für Fortschritte bei LLMs in agentischen Architekturen, Denkfähigkeiten und Planungsmodulen und entwickelt sich gleichzeitig zu einer universellen Lernmaschine, die eine schnelle Anpassung über Aufgaben, Paradigmen und Modalitäten hinweg erlaubt. Aufbauend auf dieser Entwicklung präsentieren wir eine multidimensionale Taxonomie von ICL und decken damit emergente Muster auf, die eine universelle Lernmaschine erleichtern. Anders als frühere Übersichten, die sich darauf konzentrieren, wie ICL eingesetzt wird, untersucht diese Arbeit auch, warum ICL entsteht, und verknüpft dessen Entstehung mit den äußeren Schleifen-Anreizen, die es formen. Die Analyse kritisiert bestehende Benchmarks, hebt Beschränkungen in den Evaluationsmethoden hervor und weist auf ungelöste Herausforderungen hin, darunter Unsicherheiten im Generalisierungsumfang, effiziente Speicher- und Kontextskalierung sowie den hohen Datenbedarf. Durch die Synthese jüngster Fortschritte und bestehender Lücken bietet die Übersicht eine strukturierte Grundlage für zukünftige Forschung mit Schwerpunkt auf skalierbaren, robusten und vielseitigen ICL-Systemen.