LLM이 프롬프트 엔지니어링 기반의 우수한 경로 계획자가 될 수 있을까? 경로 계획을 위한 환각 현상 완화

대형 언어 모델(LLM)의 공간 추론은 체화된 지능의 기초입니다. 그러나 단순한 미로 환경에서도 LLM은 장기 경로 계획에서 여전히 어려움을 겪으며, 이는 주로 공간 환각과 장기 추론에 의한 문맥 불일치 환각에 영향을 받습니다. 이러한 문제를 해결하기 위해 본 연구는 공간-관계 변환 및 커리큘럼 Q-러닝(S2RCQL)이라는 혁신적 모델을 제안합니다. LLM의 공간 환각 문제를 해결하기 위해, 우리는 공간 프롬프트를 엔티티 관계 및 엔티티 관계 사슬을 나타내는 경로로 변환하는 공간-관계 접근법을 제안합니다. 이 접근법은 순차적 사고 측면에서 LLM의 잠재력을 최대한 활용합니다. 결과적으로 문맥 불일치 환각을 완화하기 위해 Q-러닝 기반 경로 계획 알고리즘을 설계하여 LLM의 추론 능력을 향상시킵니다. 상태-행동의 Q값을 프롬프트의 보조 정보로 사용하여 LLM의 환각을 수정함으로써 최적 경로 학습을 안내합니다. 마지막으로, LLM 기반 역방향 커리큘럼 학습 기법을 제안하여 문맥 불일치 환각을 더욱 완화합니다. LLM은 과제 난이도를 낮추고 성공 경험을 빠르게 축적하여 복잡한 과제에 도전할 수 있습니다. Baidu가 자체 개발한 LLM인 ERNIE-Bot 4.0을 기반으로 한 포괄적 실험에서 우리의 S2RCQL은 선진 프롬프트 엔지니어링에 비해 성공률과 최적성 모두에서 23%에서 40% 향상을 보였습니다.