데이터셋 확장의 어두운 면: 다중 모달 모델에서의 인종 분류 평가

모델 확장, 데이터 확장, GPU 팜 확장은 오늘날 생성형 AI 세계에서 지배적인 감성입니다. 모델 확장은 광범위하게 연구되었지만, 데이터 확장과 그것이 모델 성능에 미치는 하위 영향은 아직 충분히 탐구되지 않았습니다. 이는 주로 월드 와이드 웹에서 온 다중 모달 데이터셋, 즉 Common Crawl 덤프로 응축·패키징된 데이터의 맥락에서 특히 중요하며, 이 데이터는 여러 단점을 지닌 것으로 알려져 있습니다. 본 논문에서는 LAION400-M과 LAION-2B 데이터셋으로 훈련된 14개의 비전-언어 모델(VLM)에 대해 데이터셋 확장이 인종 및 성별 편향에 미치는 영향을 Chicago Face Dataset(CFD)을 평가 지표로 삼아 측정하였습니다. 결과는 훈련 데이터가 증가함에 따라, 사전학습된 CLIP 모델이 사람 이미지를 침팬지, 고릴라, 오랑우탄과 같은 비인간 공격적 클래스(Offensive non-human classes)로 잘못 분류하는 확률은 감소했으나, 동일 이미지를 범죄자와 같은 인간 공격적 클래스(Human offensive classes)로 잘못 분류하는 확률은 증가함을 보여줍니다. 더욱이, 평가한 14개의 Vision Transformer 기반 VLM 중에서, 데이터셋을 4억(400M)에서 20억(2B) 샘플로 확장할 때, 대형 ViT-L 모델에서 흑인 남성과 라틴계 남성 이미지를 범죄자로 예측하는 확률이 각각 65%, 69% 증가했습니다. 반면, 소형 ViT-B 기본 모델의 경우, 같은 확장에 따라 흑인 남성과 라틴계 남성을 범죄자로 예측하는 확률은 각각 20%, 47% 감소했습니다. 본 연구는 모델 감사 결과를 정성적 및 역사적 분석에 근거하여 다루며, 발견 사항과 데이터셋 큐레이션 관행에 미치는 함의를 성찰하고, 완화 메커니즘과 향후 방향에 대한 요약으로 마무리합니다. 내용 경고: 본 논문에는 인종적으로 비인간화하고 공격적인 묘사가 포함되어 있습니다.