대규모 언어 모델(LLM)을 활용한 실시간 대화형 서비스는 챗봇, AI 튜터, 지능형 에이전트 등 다양한 응용 분야로 확산되고 있으나, 높은 추론 비용과 응답 지연이 여전히 큰 제약 요인이다. 특히 표현은 다르지만 의미가 유사한 질의가 반복적으로 발생하고, 짧은 시간 구간에 유사 질의가 집중되는 사용자 패턴으로 인해 동일 혹은 유사 질의가 매번 독립적인 LLM 호출로 처리되면서 자원 낭비와 지연이 누적된다. 한편, 임베딩 기반 질의 유사도 검색을 활용하는 시맨틱 캐싱 기법은 과거 응답을 재사용하여 LLM 호출 빈도와 응답 시간을 줄이는 효과적인 방법으로 주목받고 있다. 본 논문은 이러한 시맨틱 캐싱을 보완하기 위해, LLM 호출 이전 단계에서 의미적으로 유사한 질의를 임베딩 공간에서 그룹화하는 의미 기반 동적 배칭 기법을 제안한다. bge-m3 임베딩과 코사인 유사도를 이용해 질의를 실시간으로 클러스터링하고, 대표 질의에 대해서만 캐시 조회 및 LLM 호출을 수행함으로써 LLM 기반 대화형 서비스의 호출 비용과 응답 시간을 동시에 절감할 수 있음을 실험을 통해 보인다.
김소룡 et al. (2026) studied this question.