반란

크라우드소싱은 머신러닝 시스템에 대한 라벨이 있는 데이터셋을 구축하기 위한 확장 가능하고 효율적인 방법을 제공합니다. 그러나 크라우드워커를 위한 포괄적인 라벨 가이드라인을 만드는 것은 종종 간단해 보이는 개념에 대해서도 금전적 제약이 있을 수 있습니다. 불완전하거나 모호한 라벨 가이드라인은 개념에 대한 해석의 차이를 초래하고 일관성 없는 라벨을 양산할 수 있습니다. 직원 선별이나 열악한 작업 감지와 같은 기존의 라벨 품질을 향상시키기 위한 접근 방식은 이 문제에 비효율적이며, 정직한 작업이 거부되거나 데이터에 대한 풍부한 해석을 포착할 기회를 놓치는 결과를 초래할 수 있습니다. 우리는 전문가 주석 워크플로우의 아이디어를 크라우드 기반 라벨링에 가져오는 협업 방식인 Revolt를 소개합니다. Revolt는 크라우드의 불일치를 활용하여 모호한 개념을 식별하고 사후 라벨 결정에 대한 풍부한 구조(의미상 관련 항목의 그룹)를 생성함으로써 상세한 라벨 가이드라인을 만드는 부담을 없앱니다. Revolt와 전통적인 크라우드소싱 라벨링을 비교하는 실험 결과, Revolt는 금전적 비용의 증가와 연계하여 라벨 가이드라인 없이도 높은 품질의 라벨을 생성하는 것으로 나타났습니다. 다만, 이러한 선행 비용은 새로운 데이터를 수집할 필요 없이 다양한 라벨 경계를 수용할 수 있는 재사용 가능한 구조를 생성하는 Revolt의 능력으로 상쇄됩니다. Revolt의 협업 및 비협업 변종을 추가로 비교한 결과, 협업이 더 낮은 금전적 비용으로 높은 라벨 정확도에 도달하는 것으로 나타났습니다.