"잘 모르겠지만...": 대형 언어 모델의 불확실성 표현이 사용자 의존도와 신뢰에 미치는 영향 연구

널리 배포된 대형 언어 모델(LLMs)은 설득력 있으나 부정확한 결과물을 생성할 수 있으며, 이는 사용자가 이를 올바른 것으로 오인하여 의존할 위험이 있습니다. 이러한 과도한 의존을 줄이기 위해 LLM이 불확실성을 사용자에게 전달할 필요가 제기되어 왔습니다. 그러나 사용자가 LLM의 불확실성 표현을 어떻게 인지하고 행동하는지에 대한 실증적 연구는 거의 이루어지지 않았습니다. 본 연구는 허구의 LLM이 통합된 검색 엔진의 응답을 제공받는 그룹과 받지 않는 그룹으로 나누어 의학 질문에 답하는 대규모 사전 등록 인간 대상 실험(N=404)을 통해 이 문제를 탐구합니다. 행동 및 자기 보고 측정을 활용하여 불확실성의 다양한 자연어 표현이 참가자들의 의존도, 신뢰도, 전반적 과제 수행에 미치는 영향을 분석하였습니다. 1인칭 표현(예: "잘 모르겠지만...")은 참가자의 시스템에 대한 신뢰와 동의 경향을 감소시키는 반면, 정확도는 증가시키는 결과를 보였습니다. 탐색적 분석에 따르면 이 정확도 증가는 부정확한 답변에 대한 과도한 의존이 감소했기 때문으로 나타났습니다(하지만 완전히 제거되지는 않음). "명확하지 않지만..."과 같은 일반적 관점의 불확실성 표현도 유사한 영향을 보였으나 그 효과는 더 약하고 통계적으로 유의하지 않았습니다. 본 연구 결과는 자연어 불확실성 표현이 LLM에 대한 과도한 의존을 줄이는 효과적인 방법일 수 있으나, 표현 방식이 중요함을 시사하며, 대규모 배포 전 사용자 테스트의 중요성을 강조합니다.