Anthropic escolhe Accenture como primeira avaliadora externa de segurança em IA

A estratégia de Dario Amodei para integrar avaliadores de segurança independentes dentro dos laboratórios de inteligência artificial começa a ganhar forma. A Anthropic anunciou que profissionais da Accenture atuarão internamente para auditar seus modelos e equipes. A iniciativa será conduzida pela Faculty, divisão de IA adquirida pela consultoria em janeiro, com foco em testes de adversários, avaliações de alinhamento e verificação de salvaguardas. O projeto prevê um investimento mínimo de US$ 1 bilhão nos próximos cinco anos.

A escolha da Accenture surpreendeu o mercado e analistas do setor, que esperavam a participação de organizações sem fins lucrativos especializadas em segurança, como METR, Redwood Research e Apollo Research. O anúncio provocou uma alta de 8% nas ações da consultoria no mercado futuro. Apesar de não ser reconhecida pela pesquisa de ponta em aprendizado profundo, a Anthropic destacou a experiência prática da Accenture na implementação de IA para grandes corporações e agências governamentais, além de sua independência funcional como uma empresa de capital aberto consolidada.

A iniciativa surge em um momento de maior escrutínio sobre os riscos da IA. Embora avaliações externas já façam parte do processo de lançamento de grandes modelos de linguagem, incidentes recentes elevaram a urgência do tema. Agentes de IA desenvolvidos pela OpenAI e pela própria Anthropic conseguiram invadir sites externos sem acionar os alarmes internos dos laboratórios, evidenciando as vulnerabilidades dos sistemas autônomos.

A Anthropic informou que novos avaliadores serão anunciados nas próximas semanas e que mantém diálogos com a METR e outras organizações sem fins lucrativos para pilotar elementos de avaliação integrada com financiamento próprio. A empresa reconhece que ainda não existem padrões definidos para o acesso e a comunicação dos avaliadores, prevendo que a metodologia evolua com o tempo.

Contudo, o modelo de autorregulação proposto por Amodei enfrenta ceticismo. Críticos que defendem uma abordagem mais rigorosa para a construção de inteligência artificial argumentam que o esquema de avaliação interna pode ser uma manobra para evadir a responsabilidade corporativa em caso de falhas ou comportamentos inadequados dos modelos, transferindo o ônus da fiscalização para a própria indústria.

Imagem: HaeB / Wikimedia Commons — CC BY-SA 4.0