コード幻覚

大規模言語モデルのような生成モデルは、コードの共同作成や完全なプログラム生成に広く利用されています。しかし、それらが生成するプログラムは、ユーザーの要件に従わない、誤ったまたは無意味な出力を提供する、あるいは意味論的・構文的なエラーを含むことがあり、統合において正確性、信頼性、真実性が疑わしいことがしばしばあります。これらは総じてLLM幻覚として知られています。本研究では、いくつかの種類のコード幻覚を提示します。大規模言語モデルを用いて手動でこのような幻覚コードを生成しました。また、HallTriggerという技術を紹介し、任意のコード幻覚を効率的に生成する方法を示します。本手法は、モデルのアーキテクチャやパラメータにアクセスすることなく、LLMの3つの異なる動的属性を巧みに活用して幻覚を引き起こすプロンプトを作成します。多くの人気のブラックボックスモデルの結果は、HallTriggerが確かに有効であること、そして蔓延するLLM幻覚がソフトウェア開発に大きな影響を与えることを示唆しています。