전력 갈증 처리: AI 배포 비용을 좌우하는 와트 전력?

최근 몇 년간, 생성적이며 다목적 AI 시스템을 기반으로 한 상용 AI 제품의 인기가 급증했습니다. 이 시스템들은 머신러닝(ML) 모델을 기술에 통합하는 통합적인 접근법을 약속합니다. 그러나 이러한 "일반성"이라는 야망은 이 시스템들이 요구하는 에너지 양과 배출하는 탄소량을 고려할 때 환경에 큰 비용을 초래합니다. 본 연구에서는 특정 작업(즉, 단일 작업을 수행하는 미세조정된 모델)과 '다목적' 모델(즉, 여러 작업에 대해 훈련된 모델)을 모두 포함하는 다양한 범주의 ML 시스템의 현재 추론 비용에 대한 최초의 체계적인 비교를 제안합니다. 우리는 이러한 모델을 사용하여 대표적인 벤치마크 데이터셋에서 1,000회 추론을 수행하는 데 필요한 에너지와 탄소량을 배포 비용으로 측정했습니다. 다목적 생성 아키텍처는 모델 매개변수 수를 통제하더라도 다양한 작업에서 특정 작업 시스템보다 수십 배 더 비용이 많이 드는 것으로 나타났습니다. 본 연구는 다목적 생성 ML 시스템 배포의 현재 추세에 대한 논의를 마무리하며, 에너지 및 배출 측면에서 증가하는 비용과 그 유용성을 보다 의도적으로 저울질해야 한다고 경고합니다. 본 연구의 모든 데이터는 추가 탐색과 분석을 위한 인터랙티브 데모를 통해 접근할 수 있습니다.