Штучний інтелект від Microsoft працює на слабких ЦП, економлячи пам'ять у 6 разів

Спеціалісти Microsoft розробили мовну модель BitNet b1.58 2B4T, яка при компактних розмірах демонструє результати, близькі до більш крупних аналогів. Її ключова особливість — можливість роботи на звичайних CPU, без використання графічних прискорювачів. Це відкриває доступ до ІІ-технологій для пристроїв з обмеженими ресурсами.

Замість стандартних 16- або 32-бітних обчислень модель використовує спрощені 1-бітні з трьома станами: -1, 0 та +1. Такий підхід скорочує обсяг займаної пам'яті до 400 МБ — для порівняння, найближчий конкурент від Google (Gemma 3 1B) вимагає 1.4 ГБ. Економія досягається за рахунок принципово іншого підходу до обробки даних: замість складних математичних операцій система спирається на оптимізовані бінарні алгоритми.

У ході випробувань BitNet порівнювали з моделями Meta (LLaMa 3.2 1B), Google (Gemma 3 1B) та Alibaba (Qwen 2.5 1.5B). Незважаючи на меншу «вагу», розробка Microsoft показала середній результат 54.19 балла в комплексних тестах, обійшовши LLaMa (44.90) та Gemma (43.74), і лише трохи поступившись Qwen (55.23), яка займає в 6.5 разів більше пам'яті. В окремих задачах, пов'язаних з аналізом тексту, BitNet зайняла лідируючі позиції.

Для максимальної ефективності модель вимагає спеціального фреймворка bitnet.cpp, доступного в відкритому репозиторії GitHub. Стандартні інструменти, такі як бібліотека Transformers, не розкривають її потенціал повністю. Розробники зазначають, що поточна версія орієнтована на CPU, але в майбутньому додадуть підтримку нейропроцесорів та GPU.

BitNet — приклад тенденції до «полегшення» ІІ-моделей. Такі рішення знижують енергоспоживання і дозволяють запускати складні алгоритми на пристроях без доступу до хмарних сервісів. Це особливо актуально для регіонів з повільним інтернетом або при роботі з конфіденційними даними, де передача інформації в дата-центри небажана. За словами авторів, їх мета — зробити ІІ-технології доступними без апгрейда заліза, що може змінити підхід до розробки додатків з штучним інтелектом.