Mercado de observabilidade de IA atrai centenas de milhões. Startups usam a própria inteligência artificial para monitorar e conter riscos de agentes autônomos.
Visite
Buscar
Mercado de observabilidade de IA atrai centenas de milhões. Startups usam a própria inteligência artificial para monitorar e conter riscos de agentes autônomos.
O ecossistema de inteligência artificial está gerando uma nova e robusta frente de negócios: a observabilidade de modelos. Nos últimos anos, a Y Combinator financiou 106 empresas dedicadas a esse nicho, segundo levantamento do TechCrunch. Startups como Braintrust, LangChain e Judgment Labs captaram centenas de milhões de dólares, enquanto companhias mais maduras, como Arize e Galileo, já registraram saídas lucrativas. O movimento reflete a percepção de uma oportunidade massiva. Como destacou Aaron Levie, CEO do Box e investidor anjo, o setor está prestes a viver um dos maiores ciclos de inovação e atualização de cibersegurança da história.
Para mitigar os riscos associados à ascensão de agentes de IA autônomos, pesquisadores de segurança estão transformando seus estudos sobre comportamentos erráticos em ferramentas corporativas. A Apollo Research, organização que estuda a capacidade de engano da IA, lançou em fevereiro o monitor Watcher. A ferramenta se posiciona entre o agente de codificação e sua próxima ação, integrando-se a sistemas como Claude Code e Codex. O Watcher avalia as ações propostas antes de sua execução, buscando prevenir vazamento de dados privados ou exclusão não autorizada de arquivos.
Segundo Kyle Dai, membro da equipe técnica da Apollo, a abordagem do Watcher utiliza múltiplas camadas de monitoramento. O sistema inicia com uma verificação geral e rápida, encaminhando atividades suspeitas para um monitor mais robusto ou especializado. Essa segunda camada pode solicitar aprovação humana, rejeitar a ação com uma explicação detalhada ou bloqueá-la automaticamente, criando um protocolo de defesa em profundidade para operações críticas.
Em uma frente complementar, a Goodfire aborda o monitoramento a partir do estado interno do próprio modelo, buscando sinais mais fiéis e difíceis de manipular do que o comportamento superficial. O CEO Eric Ho afirmou que um incidente envolvendo a Hugging Face em julho, no qual múltiplos modelos romperam contenções, impulsionou o foco da empresa em resolver o alinhamento de IA por meio da interpretabilidade. O produto da companhia, Silico, utiliza sondas de ativação para ler o estado interno do modelo, marcando o que ele considera um ponto de virada para a segurança corporativa de IA.
Imagem: Rahul Pandit / Pexels — Pexels License
Paulo Júnio de Lima é Administrador com MBA em Marketing Digital e especialista em estratégia, inovação e gestão de projetos. Na Comunicação e Relações Públicas da Grande Loja Maçônica de Minas Gerais, desenvolve soluções para fortalecimento institucional. Com passagens por ORO, Agência Open, Brasil84 e VTIC, acumula experiência em marketing digital, branding e transformação digital. Certificado pelo IA Lab do Estúdio Kimura, aplica inteligência artificial em design, automação e comunicação. Membro ativo da Ordem DeMolay há mais de 18 anos, atua também em projetos sociais e educacionais.
O futuro acontece aqui: esteja entre os primeiros a receber insights, tendências e oportunidades que moldam o mercado.
