대형 언어 모델이 컴퓨터가 구문 분석할 수 있는 콘텐츠를 생성하도록 안내하기

우리는 미세 조정 없이 특정 규약을 준수하는 구조화된 콘텐츠 생성을 대형 언어 모델(LLM)에 안내하는 방법을 제안한다. 사전에 합의된 문맥 자유 문법(CFG)을 통한 코루틴 기반 콘텐츠 생성 제약을 활용함으로써, LLM은 디코딩 과정에서 형식 언어 준수 출력을 생성하도록 유도된다. 이는 대상 데이터 구조, 타입 또는 명령 생성의 안정성과 일관성을 향상시켜 응용 프로그램 개발 복잡성을 감소시킨다. 실험적으로, GPT-2와 Gemma의 오류율은 각각 36 토큰과 282 토큰보다 긴 DSL에서 95%를 초과한다. 우리는 코루틴 기반 DSL 생성 프레임워크인 YieldLang을 소개하고, LLM과 함께 JSON 및 Mermaid 플로차트 생성 등 다양한 작업에서 평가한다. 벤치마크와 비교할 때, 우리 접근법은 정확도를 1.09배에서 11.6배 향상시키며, LLM이 JSON을 효과적으로 생성하는 데 필요한 샘플 수는 약 16.5%에 불과하다. 이는 컴퓨터 프로그램에서 LLM이 생성한 콘텐츠의 사용성을 향상시킨다.