불균형 데이터셋에서 이진 분류기를 평가할 때 ROC 곡선보다 정밀도-재현율 곡선이 더 유용하다

이진 분류기는 민감도와 특이도 같은 성능 지표로 일상적으로 평가되며, 성능은 종종 수신기 조작 특성(ROC) 곡선으로 시각화된다. 양성 예측값(PPV) 및 관련 정밀도/재현율(PRC) 곡선과 같은 대체 지표는 덜 자주 사용된다. 많은 생물정보학 연구에서는 음성 샘플 수가 양성 샘플 수를 크게 초과하는 강한 불균형 데이터셋에 적용되는 분류기를 개발하고 평가한다. ROC 곡선은 시각적으로 매력적이며 다양한 특이도 범위에서 분류기 성능 개요를 제공하지만, 불균형 분류 시나리오에 적용할 경우 ROC 곡선이 오해를 불러일으킬 수 있는지를 물을 수 있다. 본 논문에서는 불균형 데이터셋 맥락에서 ROC 곡선의 시각적 해석 가능성이 특이도에 대한 직관적이지만 잘못된 해석 때문에 분류 성능 신뢰성에 대한 결론에 오도될 수 있음을 보여준다. 반면 PRC 곡선은 양성 예측 중 실제 양성 비율을 평가함으로써 미래 분류 성능을 정확히 예측할 수 있게 한다. 우리의 발견은 불균형 데이터셋에서 ROC 곡선을 사용하는 다수 연구의 해석에 잠재적 시사점을 가진다.