ИИ от Microsoft работает на слабых CPU, экономя память в 6 раз

vgtimes.ru:

Специалисты Microsoft разработали языковую модель BitNet b1.58 2B4T, которая при компактных размерах демонстрирует результаты, близкие к более крупным аналогам. Её ключевая особенность — возможность работы на обычных CPU, без использования графических ускорителей. Это открывает доступ к ИИ-технологиям для устройств с ограниченными ресурсами.

Вместо стандартных 16- или 32-битных вычислений модель использует упрощённые 1-битные с тремя состояниями: -1, 0 и +1. Такой подход сокращает объём занимаемой памяти до 400 МБ — для сравнения, ближайший конкурент от Google (Gemma 3 1B) требует 1.4 ГБ. Экономия достигается за счёт принципиально иного подхода к обработке данных: вместо сложных математических операций система опирается на оптимизированные бинарные алгоритмы.

В ходе испытаний BitNet сравнивали с моделями Meta (LLaMa 3.2 1B), Google (Gemma 3 1B) и Alibaba (Qwen 2.5 1.5B). Несмотря на меньший «вес», разработка Microsoft показала средний результат 54.19 балла в комплексных тестах, обойдя LLaMa (44.90) и Gemma (43.74), и лишь немного уступив Qwen (55.23), которая занимает в 6.5 раз больше памяти. В отдельных задачах, связанных с анализом текста, BitNet заняла лидирующие позиции.

Для максимальной эффективности модель требует специального фреймворка bitnet.cpp, доступного в открытом репозитории GitHub. Стандартные инструменты вроде библиотеки Transformers не раскрывают её потенциал полностью. Разработчики отмечают, что текущая версия ориентирована на CPU, но в будущем добавят поддержку нейропроцессоров и GPU.

BitNet — пример тенденции к «облегчению» ИИ-моделей. Такие решения снижают энергопотребление и позволяют запускать сложные алгоритмы на устройствах без доступа к облачным сервисам. Это особенно актуально для регионов с