제안을 언제 보여줄 것인가? AI 지원 프로그래밍에서 인간 피드백 통합

Copilot과 CodeWhisperer 같은 AI 기반 코드 추천 시스템은 생산성 향상을 목표로 프로그래머 환경(예: IDE) 내에서 코드 제안을 제공합니다. 우리는 코드 제안에 대한 프로그래머의 수용 및 거부 신호를 활용하여 추천을 안내하는 메커니즘을 모색합니다. 수백만 프로그래머가 사용하는 GitHub Copilot과의 상호작용 데이터로부터 프로그래머의 시간을 절약할 수 있는 개입책을 개발합니다. 제안 표시 여부 결정을 주도하는 효용 이론적 프레임워크를 소개합니다. 인간 피드백 기반 조건부 제안 표시(CDHF) 접근법은 추천 코드가 수용될 가능성을 제공하는 모델의 연쇄에 의존합니다. 이 가능성을 활용해 제안을 선택적으로 숨겨 지연 시간과 프로그래머 검증 시간을 줄입니다. 535명의 프로그래머 데이터를 사용해 CDHF를 후향 평가하고, 거부될 제안의 상당 부분을 표시하지 않도록 할 수 있음을 보여줍니다. 또한 제안 표시 시 언제 보여줄지 결정할 때 프로그래머의 잠재적 관찰되지 않은 상태를 반영하는 것의 중요성을 제거 연구(ablation study)를 통해 입증합니다. 마지막으로, 제안 수용을 보상 신호로 사용해 제안 표시를 안내하면 제안 품질이 저하되는 예기치 않은 함정을 보여줍니다.