Riscos dos cientistas de IA: priorizando a proteção em vez da autonomia

Cientistas de IA impulsionados por grandes modelos de linguagem demonstraram um potencial substancial na condução autônoma de experimentos e na facilitação de descobertas científicas em várias disciplinas. Embora suas capacidades sejam promissoras, esses agentes também introduzem vulnerabilidades novas que requerem consideração cuidadosa para a segurança. Contudo, houve pouca exploração abrangente dessas vulnerabilidades. Esta perspectiva examina vulnerabilidades em cientistas de IA, destacando os riscos potenciais associados ao uso indevido e enfatizando a necessidade de medidas de segurança. Começamos fornecendo uma visão geral dos riscos potenciais inerentes aos cientistas de IA, levando em conta a intenção do usuário, o domínio científico específico e seu impacto potencial no ambiente externo. Em seguida, exploramos as causas subjacentes dessas vulnerabilidades e fornecemos uma revisão de escopo dos trabalhos limitados existentes. Com base em nossa análise, propomos um framework triádico envolvendo regulação humana, alinhamento do agente e compreensão do feedback ambiental (regulação do agente) para mitigar esses riscos identificados. Além disso, destacamos as limitações e desafios associados à proteção dos cientistas de IA e defendemos o desenvolvimento de modelos aprimorados, benchmarks robustos e regulações abrangentes.