O modelo avaliado, batizado de “Llama-4-Maverick-17B-128E-Instruct”, apresentou desempenho significativamente inferior à sua versão experimental “Llama-4-Maverick-03-26-Experimental”, otimizada para conversação. Essa última foi justamente a que figurou nas primeiras colocações do LM Arena, um benchmark colaborativo que se baseia na avaliação humana da qualidade das respostas geradas pelos modelos.

A Meta alegou que a discrepância de desempenho se deve às otimizações voltadas ao estilo conversacional da versão experimental, favorecendo-a no tipo específico de avaliação conduzido pelo LM Arena. No entanto, a prática gerou críticas sobre a confiabilidade de benchmarks manipuláveis e sobre a transparência da empresa ao divulgar resultados.

Especialistas do setor destacam que adaptar modelos para se saírem bem em benchmarks pode prejudicar sua aplicabilidade no mundo real, além de criar uma falsa expectativa sobre sua performance. A Meta, em resposta, reiterou seu compromisso com a experimentação aberta e defendeu a publicação do modelo “vanilla” para que a comunidade de desenvolvedores possa explorá-lo livremente.

“A ‘Llama-4-Maverick-03-26-Experimental’ é uma versão otimizada internamente para chat, que demonstrou boa performance em contextos específicos como o LM Arena”, disse um porta-voz da empresa. “Agora que o modelo oficial está disponível, queremos ver como os desenvolvedores vão adaptá-lo a seus próprios casos de uso.”

As acusações ganharam força após um rumor — supostamente iniciado por um ex-funcionário da Meta em uma rede social chinesa — alegar que a empresa teria treinado seus modelos nos próprios testes dos benchmarks, algo considerado antiético no setor. Ahmad Al-Dahle, vice-presidente de IA generativa da Meta, negou a acusação, classificando-a como “simplesmente falsa”.

Al-Dahle admitiu, no entanto, que usuários têm relatado “qualidade inconsistente” ao acessar os modelos Maverick e Scout via diferentes provedores de nuvem. Segundo ele, isso se deve ao lançamento antecipado dos modelos, com ajustes e correções ainda em andamento.

Enquanto o setor cobra maior transparência nas práticas de avaliação de modelos de IA, a Meta terá que lidar com as consequências de uma estratégia que, embora tecnicamente válida, pode ter comprometido sua credibilidade. A empresa aposta agora na comunidade de desenvolvedores para redimir o potencial de sua arquitetura Llama 4.