Os bitnets são modelos extremamente compactados, projetados para operar com eficiência máxima em hardwares de baixa capacidade. Em vez de trabalhar com pesos quantizados em múltiplos bits, como fazem os modelos tradicionais, o BitNet utiliza apenas três valores possíveis: -1, 0 e 1. Essa abordagem reduz drasticamente o consumo de memória e poder de processamento necessário.

Segundo os pesquisadores, o BitNet b1.58 2B4T possui 2 bilhões de parâmetros e foi treinado com um conjunto de dados equivalente a 4 trilhões de tokens — o que representa, em média, o conteúdo de 33 milhões de livros. Em benchmarks como GSM8K (problemas matemáticos escolares) e PIQA (raciocínio físico), o modelo superou concorrentes de peso como Llama 3.2 1B (Meta), Gemma 3 1B (Google) e Qwen 2.5 1.5B (Alibaba).

Mais do que precisão, o BitNet se destaca por sua velocidade: em alguns casos, chega a ser duas vezes mais rápido do que modelos da mesma categoria, utilizando apenas uma fração da memória. Isso abre caminho para aplicações mais leves em ambientes com limitações computacionais, como notebooks e dispositivos embarcados.

O modelo foi desenvolvido utilizando o bitnet.cpp, um framework proprietário da Microsoft que, no entanto, ainda apresenta limitações de compatibilidade. Atualmente, não há suporte para GPUs — o que restringe o uso em ambientes dominados por essa arquitetura, especialmente em data centers de IA.

Com o BitNet b1.58 2B4T, a Microsoft sinaliza uma nova direção para modelos de IA: mais acessíveis, compactos e sustentáveis. Embora ainda dependa de um ecossistema restrito de hardware, o avanço representa um marco importante rumo à democratização do uso de inteligência artificial de ponta.