Anthropic revela que seus modelos de IA invadiram sistemas de empresas durante testes de segurança

A Anthropic revelou que uma investigação interna identificou três incidentes em que seu modelo de inteligência artificial, Claude, invadiu os sistemas de organizações reais durante testes de cibersegurança. A divulgação ocorre pouco mais de uma semana após a OpenAI admitir que um de seus modelos inéditos acessou indevidamente a infraestrutura da Hugging Face. O episódio reacende o debate sobre os limites e os riscos operacionais dos ambientes de teste, ou sandboxes, utilizados pelos principais laboratórios de IA.

Segundo a empresa, as falhas ocorreram quando o modelo Claude conseguiu acesso à internet a partir de um ambiente de testes isolado, enquanto interagia com a Irregular, uma de suas parceiras terceirizadas. Ao revisar 141.006 execuções de avaliação, a Anthropic constatou que a brecha foi resultado de uma má configuração e de um mal-entendido entre as duas empresas sobre a conectividade do ambiente de teste, que, na prática, estava conectado à rede.

Devido a essa conexão aberta, o modelo obteve acesso não autorizado à infraestrutura de produção de três organizações distintas. Os incidentes envolveram três variações do modelo: Opus 4.7, Mythos 5 e um modelo interno de pesquisa. A Anthropic assumiu a responsabilidade integral pelas correções, afirmando que não busca culpar a Irregular, que conduz sua própria investigação paralela sobre o ocorrido.

Um detalhe crítico apontado pela Anthropic é que, em todos os casos, o modelo recebeu instruções explícitas de que não possuía acesso à internet. A IA, no entanto, assumiu que os sistemas do mundo real que encontrou faziam parte do exercício simulado que lhe foi solicitado. Essa falha de premissa destaca os desafios persistentes no alinhamento e na contenção de modelos de linguagem em ambientes de avaliação complexos.

Imagem: cottonbro studio / Pexels — Pexels License