미래의 재앙적 AI 위험을 막기 위한 정부 개입

이 에세이는 Yoshua Bengio가 2023년 7월 미국 상원 개인 정보 보호, 기술 및 법률 소위원회에서 AI 감독 주제에 대해 증언한 내용을 수정 전사한 것입니다. 기술이 인간 수준의 인지 능력에 접근함에 따라 향후 AI 발전에서 발생할 수 있는 잠재적 재앙적 결과를 완화하기 위해 규제 및 연구 투자에서 신중함과 정부 개입을 주장합니다. 향상되는 능력의 추세와 이러한 미래 발전에 대한 불확실한 일정, 그리고 고의적 및 비고의적 경우 모두를 포함한 다양한 유형의 재앙적 시나리오를 요약하며, 악의적 행위자에 의한 오용과 강력한 AI의 의도적 및 의도하지 않은 통제 상실을 포함합니다. 국가 규제, 국제 협약, AI 안전을 위한 공공 연구 투자 및 악의적 행위자와 통제 불가능한 위험한 AI 시스템으로부터 안전하게 보호할 수 있는 정렬된 AI 시스템 설계를 위한 기밀 연구 투자 등을 포함하는 공공 정책 권고안을 제시합니다. 민간 소유이든 정부 권한 하에 있든 미래의 강력한 AI 시스템의 안전하고 윤리적 사용을 통제하기 위한 강력한 민주적 거버넌스 절차의 필요성을 강조합니다.