대규모 언어 모델을 활용한 지식 인지 코드 생성

대규모 언어 모델(LLM)은 기본적인 프로그래밍 문제에서 좋은 성능을 보입니다. 그러나 다양한 알고리즘 및 데이터 구조 기술을 요구하는 복잡한 과제, 특히 프로그래밍 대회 수준의 문제에서는 어려움을 겪습니다. 특히 ChatGPT는 사전 학습 과정에서 접한 문제에 대해서는 능숙한 성능을 보이지만, 새롭고 낯선 문제에 직면하면 성능이 저하됩니다. 따라서 LLM이 낯선 문제에 대응하는 능력을 향상시키는 것이 중요한 연구 주제로 부상했습니다. LLM의 문제 해결 과정은 어느 정도 인간 프로그래머의 접근 방식과 유사합니다. 새로운 프로그래밍 과제에 직면했을 때, 인간 프로그래머는 알고리즘과 데이터 구조에 관한 이전에 습득한 지식을 활용하여 작업 계획 수립과 코드 작성을 진행합니다. 그러나 LLM은 이러한 지식을 학습했음에도 불구하고 특정 새 문제에 효과적으로 적용하는데 어려움을 겪습니다. 이 문제를 해결하기 위해, 우리는 ChatGPT가 이전에 접하지 못한 프로그래밍 문제를 일부 포함하는 새로운 데이터셋 CodeF를 구축하였습니다. 더불어 파이썬 프로그래밍 대회 문제에 맞춘 지식 라이브러리를 개발하고, 지식 인지 코드 생성(KareCoder) 개념을 도입했습니다. KareCoder는 라이브러리로부터의 프롬프트와 지식을 LLM의 코드 생성 추론 과정에 통합하여, 특히 Pass@1 지표에서 모델의 이해력과 문제 해결 역량을 강화합니다. CodeF와 APPS 데이터셋에 대한 테스트에서, KareCoder는 LLM이 이전에 접하지 못한 새로운 문제들을 우수하게 처리하는 성능을 입증했습니다. ChatGPT가 직접 생성한 코드와 비교하여, KareCoder는 CodeF post2021-9 데이터셋에서 Pass@1 지표 기준 상대적으로 23.3% 향상된 성과를 보였습니다. 또한 LLM이 이전에 접한 문제에 대해서도 다른 방법과 비교하여 우수한 성능을 유지합니다. 우리의 데이터셋과 실험 데이터는 오픈 소스로 공개되어 있으며, https://github.com/CodeGeneration3/KareCoder 에서 확인할 수 있습니다.