アクション学習による大規模言語モデルエージェントの強化

大規模言語モデル（LLM）エージェントは近年ますます注目を集めていますが、試行錯誤から学ぶ能力、すなわち知的行動の重要な要素については制限があります。本研究では、経験から新たなアクションを学習する能力がLLMエージェントの学習進展に不可欠であると論じます。人間は自然と行動空間を拡大し、経験学習を通じてスキルを発展させますが、LLMエージェントは通常固定された行動空間内で動作し、その成長の可能性を制限しています。これらの課題に対処するため、本研究は言語エージェントのオープンアクション学習を探究します。Python関数形式のアクションを作成・改善する反復学習戦略を含むLearnActフレームワークを提案します。各反復で、LLMは失敗したトレーニング課題で特定されたエラーに基づき、現在利用可能なアクションを修正・更新し、アクションの効果を高めます。ロボットプランニングおよびAlfworld環境での実験評価により、数回のトレーニング課題インスタンスの学習後に、我々のオープンアクション学習アプローチが当該課題タイプでのエージェント性能を著しく改善することが明らかとなりました（例えば、AlfWorldにおいてReAct+Reflexionと比較して32パーセントの向上）。これは、より知的なLLMエージェントの開発において経験的アクション学習の重要性を強調しています。