Microsoft apresenta AI BitNet de "1-bit" que corre num CPU doméstico

A Microsoft lançou um novo modelo AI open-source chamado BitNet b1.58, capaz de funcionar num simples CPU doméstico sem necessidade de GPUs poderosos. A par dos avanços nos modelos AI mais poderosos com exigentes requisitos de hardware, temos também assistido a uma preocupação crescente com modelos AI mais compactos e eficientes, que permitam um funcionamento com custo reduzido e/ou em hardware modesto. É precisamente isso que acontece com este BitNet b1.58 2B4T da Microsoft. Ao contrário da maioria dos modelos actuais, que usam números floating point de 16 ou 32 bits, o BitNet funciona apenas com três valores possíveis: -1, 0 e 1. Este sistema ternário reduz drasticamente os requisitos de memória e processamento, mantendo, segundo os investigadores, um desempenho equiparável ao de modelos bem maiores. Ao contrário de outras abordagens que comprimem modelos após o treino, o BitNet foi treinado de raiz com este formato de baixa precisão. Isso evitou perda de qualidade e torna-o no primeiro modelo open-source deste tipo a ser treinado em grande escala. O resultado é um modelo que precisa apenas de meros 400 MB de memória e pode consumir até menos 96% de energia em comparação com os modelos tradicionais. Apesar de usar estes recursos reduzidos, o BitNet consegue gerar texto a uma velocidade equivalente à leitura humana - entre 5 e 7 tokens por segundo - usando apenas um CPU convencional. Graças à sua estrutura simples, que evita cálculos complexos, é eficiente e rápido. Em testes de benchmark, teve resultados semelhantes a outros modelos da mesma classe, mantendo a capacidade de raciocínio, cálculo e compreensão geral. A Microsoft admite que ainda não percebe totalmente porque é que um modelo tão reduzido funciona tão bem. E apesar do BitNet não ter as capacidades dos modelos AI gigantes em termos de contexto e escala, abre novos caminhos para a utilização de sistemas AI poderosos que funcionam localmente em PCs e smartphones sem depender de serviços na cloud.

A Microsoft lançou um novo modelo AI open-source chamado BitNet b1.58, capaz de funcionar num simples CPU doméstico sem necessidade de GPUs poderosos.

A par dos avanços nos modelos AI mais poderosos com exigentes requisitos de hardware, temos também assistido a uma preocupação crescente com modelos AI mais compactos e eficientes, que permitam um funcionamento com custo reduzido e/ou em hardware modesto. É precisamente isso que acontece com este BitNet b1.58 2B4T da Microsoft.

Ao contrário da maioria dos modelos actuais, que usam números floating point de 16 ou 32 bits, o BitNet funciona apenas com três valores possíveis: -1, 0 e 1. Este sistema ternário reduz drasticamente os requisitos de memória e processamento, mantendo, segundo os investigadores, um desempenho equiparável ao de modelos bem maiores. Ao contrário de outras abordagens que comprimem modelos após o treino, o BitNet foi treinado de raiz com este formato de baixa precisão. Isso evitou perda de qualidade e torna-o no primeiro modelo open-source deste tipo a ser treinado em grande escala. O resultado é um modelo que precisa apenas de meros 400 MB de memória e pode consumir até menos 96% de energia em comparação com os modelos tradicionais.

Apesar de usar estes recursos reduzidos, o BitNet consegue gerar texto a uma velocidade equivalente à leitura humana - entre 5 e 7 tokens por segundo - usando apenas um CPU convencional. Graças à sua estrutura simples, que evita cálculos complexos, é eficiente e rápido. Em testes de benchmark, teve resultados semelhantes a outros modelos da mesma classe, mantendo a capacidade de raciocínio, cálculo e compreensão geral.

A Microsoft admite que ainda não percebe totalmente porque é que um modelo tão reduzido funciona tão bem. E apesar do BitNet não ter as capacidades dos modelos AI gigantes em termos de contexto e escala, abre novos caminhos para a utilização de sistemas AI poderosos que funcionam localmente em PCs e smartphones sem depender de serviços na cloud.