Энтузиасты научились запускать ИИ на 744 млрд параметров без видеокарты, но есть нюанс

vgtimes.ru:

На GitHub выложили Colibri — инструмент, который позволяет запускать GLM-5.2 на домашнем ПК примерно с 25 ГБ ОЗУ и без видеокарты. Речь идёт о 744-миллиардной модели, которую проект предлагает запускать на обычном железе. Авторы называют Colibri очень компактным решением: движок состоит всего из одного C-файла примерно на 2400 строк кода и небольших заголовков. Внутри нет BLAS, при запуске не нужен Python, а GPU тоже не требуется.

Сама модель при этом хранится на диске и занимает примерно 370 ГБ. В оперативную память подгружается только то, что нужно в конкретный момент, а остальной объём читается по мере необходимости. В оперативную память загружается только самая необходимая часть — «ядро» модели объёмом 9,9 ГБ, а остальные компоненты (так называемые «эксперты» в архитектуре смеси экспертов) подгружаются с диска по мере надобности. По словам автора, в каждый момент времени в памяти находится от 10 до 20 ГБ данных, а всё остальное читается потоково.

Однако за этой элегантной схемой скрываются важные нюансы, которые авторы не всегда акцентируют. Главный компромисс — скорость. На тестовой машине разработчика (12-ядерный процессор, 25 ГБ ОЗУ, виртуальный NVMe со скоростью чтения около 1 ГБ/с) Colibri выдаёт всего 0,05–0,1 токена в секунду. Это значит, что ответ на один запрос может занимать от нескольких минут до нескольких часов. Кроме того, постоянное чтение сотен гигабайт с диска создаёт колоссальную нагрузку на накопитель, что может вызывать перегрев и ускоренный износ недорогих SSD-накопителей, особенно в ноутбуках с ограниченным охлаждением.

Тем не менее, у такого подхода есть реальные сценарии применения: например, обработка конфиденциальных данных, которые нельзя отправлять в облачные API, или научные расчёты, где