Tudo sobre Inteligência Artificial
ver mais
A Anthropic diz ter bloqueado cientistas que usavam seus modelos de IA em pesquisas que poderiam contribuir para o desenvolvimento de armas biológicas. A empresa não conseguiu determinar se os trabalhos tinham finalidade legítima ou maliciosa, mas decidiu interrompê-los diante do risco.
Continua após a publicidade
Um dos casos envolveu um pesquisador que pediu ajuda para modificar o vírus chikungunya e torná-lo mais nocivo. A Anthropic identificou que a pesquisa seria realizada em um instituto militar, o que aumentou a preocupação com o possível uso dos resultados.
A mesma tecnologia que promete acelerar a criação de vacinas pode ser explorada de forma velada para criar patógenos perigosos. – Imagem: Samuel Boivin/Shutterstock
O jogo duplo da pesquisa biológica
O problema para a Anthropic está em distinguir uma pesquisa legítima de uma possível tentativa de causar danos. Estudos biológicos podem contribuir para vacinas e outros avanços médicos, mas conhecimentos semelhantes também podem ser usados para tornar agentes infecciosos mais perigosos.
Você não está vendo alguém dizer, de uma forma típica de história em quadrinhos: ‘Quero construir uma arma biológica para matar todo mundo’. É uma situação incrivelmente complexa.”
Jacob Klein, responsável pela inteligência de ameaças da Anthropic, ao The New York Times.
Diante dessa incerteza, a empresa decidiu agir com cautela. Os pesquisadores também contornaram controles destinados a impedir o acesso de usuários de regiões bloqueadas e tentaram ocultar a finalidade das pesquisas para escapar das salvaguardas. As contas associadas foram banidas.
Entre os principais pontos identificados pela empresa estão:
- tentativas de contornar os controles de acesso;
- ocultação da finalidade das pesquisas;
- dificuldade para determinar a intenção dos pesquisadores;
- maior capacidade dos modelos atuais para pesquisas científicas complexas;
- reforço das restrições para consultas de biologia de uso duplo.
O caso do chikungunya
Em maio, um cientista pediu ao Claude ajuda para elaborar uma solicitação de financiamento para uma pesquisa com o vírus chikungunya, transmitido por mosquitos e capaz de provocar meses de dor intensa e outros sintomas.
O projeto pretendia introduzir mutações no vírus para torná-lo mais nocivo durante infecções repetidas em animais vivos. Esse tipo de estudo, conhecido como ganho de função, pode ter aplicações legítimas, inclusive no desenvolvimento de vacinas. Também pode resultar em versões mais perigosas de vírus.
O fato de o trabalho estar previsto para um instituto de pesquisa militar pesou na avaliação da Anthropic.
“O que não sabemos é se a pesquisa pretendia ser transformada em arma”, disse Klein. “Mas uma instituição militar realizando pesquisa de ganho de função é preocupante.”
O caso mais grave envolveu tentativas de usar o chatbot Claude para gerar mutações nocivas no vírus chikungunya. – Imagem: martinatobolova/iStock
Quando a capacidade da IA vira risco
Avaliações feitas no ano passado indicaram que os modelos antigos da Anthropic ainda não conseguiam oferecer ajuda significativa em pesquisas biológicas perigosas. Os sistemas atuais, segundo a empresa, são mais capazes de realizar pesquisas científicas complexas, o que levou à adoção de salvaguardas mais rígidas.
Continua após a publicidade
Leia mais:
- Hackers roubam tokens de usuários do Claude e usam contas sem autorização
- Anthropic revela mais um incidente de segurança envolvendo o Claude
- Anthropic cede à pressão e libera IA Mythos 5 para testes de cibersegurança por órgãos europeus
Susan Monarez, microbiologista e especialista em saúde pública, afirmou que os casos fornecem evidências concretas de tentativas de usar IA de forma clandestina para aumentar as chances de desenvolver agentes biológicos capazes de causar danos significativos.
Ela também destacou que as mesmas capacidades podem acelerar descobertas médicas. O desafio é identificar quando uma investigação aparentemente legítima pode esconder uma finalidade prejudicial.
A Anthropic também relatou outros usos indevidos do Claude, envolvendo vigilância, propaganda e desenvolvimento de armas convencionais. Os casos biológicos, porém, estão entre os mais preocupantes pela dificuldade de separar uma pesquisa científica legítima de uma possível preparação para causar danos.
Continua após a publicidade
A empresa decidiu bloquear os casos identificados mesmo sem comprovar que os pesquisadores pretendiam criar armas. O episódio mostra como modelos de IA mais capazes também tornam mais difícil avaliar os riscos escondidos por trás de pesquisas que, à primeira vista, podem parecer legítimas.
Valdir Antonelli
Valdir Antonelli é jornalista com especialização em marketing digital e consumo.
Ver todos os artigos →
Tags: anthropic armas biológicas Inteligência Artificial pesquisa científica Riscos da IA
