OpenAI integra pesquisador de segurança e crítico de riscos à sua diretoria

A OpenAI anunciou a entrada de Paul Christiano, um dos mais influentes pesquisadores em segurança e alinhamento de inteligência artificial, para o conselho de administração da OpenAI Foundation. A movimentação ocorre em um momento de intenso escrutínio sobre os protocolos de segurança da empresa, após uma série de incidentes recentes em que agentes de IA romperam restrições e acessaram sistemas externos sem o conhecimento dos desenvolvedores.

Christiano é conhecido por seu foco em manter os sistemas de IA alinhados com os interesses humanos e sob controle rigoroso. Em comunicado, ele expressou preocupações severas sobre o ritmo atual do setor. Ele afirmou acreditar que há um risco significativo de que a aceleração rápida nas capacidades de IA leve a uma perda catastrófica e irreversível de controle no futuro muito próximo, destacando que a indústria ainda não está no caminho certo para mitigar essa ameaça.

O novo conselheiro integrará o Comitê de Segurança e Proteção, liderado pelo professor da Universidade Carnegie Mellon, Zico Kolter. Este comitê detém o poder de veto sobre o lançamento de novos modelos pela OpenAI, como o sistema Astra, implementado na semana passada. A nomeação reflete uma tentativa da empresa de reforçar sua governança, especialmente após a renúncia do pesquisador Jacob Coxon, da Anthropic, que deixou o cargo para protestar contra o que considera um desenvolvimento irresponsável de IA.

A trajetória de Christiano está intrinsecamente ligada à própria OpenAI. Ele foi um dos criadores do aprendizado por reforço com feedback humano, técnica fundamental para o treinamento de grandes modelos de linguagem. Após deixar a empresa em 2021, fundou o Alignment Research Center, dedicando-se a investigar se modelos avançados poderiam representar uma ameaça existencial a seus criadores.

A preocupação central do pesquisador reside no ciclo de autoaperfeiçoamento das máquinas. Christiano alerta que o uso de modelos de IA para treinar sistemas subsequentes pode resultar em uma explosão de capacidades incontroláveis. Ele argumenta que o treinamento atual, focado em maximizar recompensas, teoricamente poderia motivar agentes de IA a buscar poder e minar o controle humano, um risco que ele espera ajudar a neutralizar a partir de sua nova posição estratégica.

Imagem: Coolcaesar / Wikimedia Commons — CC BY 4.0