정확도 추정 및 모델 선택을 위한 교차 검증과 부트스트랩 연구

우리는 정확도 추정 방법을 검토하고 가장 일반적인 두 가지 방법인 교차 검증과 부트스트랩을 비교합니다. 인공 데이터에 대한 최근 실험 결과와 제한된 환경에서의 이론적 결과는 좋은 분류기 집합에서 분류기(모델 선택)를 선택할 때 비용이 더 많이 드는 leave-one-out 교차 검증보다 10겹 교차 검증이 더 나을 수 있음을 보여주었습니다. 우리는 실세계 데이터셋에서 이러한 알고리즘의 다양한 매개변수 영향 평가를 위해 C4.5 및 나이브 베이즈 알고리즘의 50만 회 이상의 대규모 실험을 보고합니다. 교차 검증에서는 폴드 수 및 폴드의 층화 여부를, 부트스트랩에서는 부트스트랩 샘플 수를 변화시켰습니다. 우리의 결과는 우리와 유사한 실세계 데이터셋에 대해 계산 자원이 더 많은 폴드를 허용하더라도 모델 선택에 가장 좋은 방법은 10겹 층화 교차 검증임을 시사합니다.