Независимый разработчик представил драйвер GreenBoost для расширения памяти видеокарт NVIDIA
Независимый разработчик Ферран Дуарри анонсировал модуль ядра Linux под названием GreenBoost. Проект направлен на расширение выделенной видеопамяти видеокарт NVIDIA за счет использования системной оперативной памяти и накопителей NVMe. Данное решение работает как уровень кэширования CUDA и позволяет запускать большие языковые модели, которые не помещаются в базовую память графического ускорителя.
Разработчик создал этот драйвер для запуска нейросети размером 31.8 ГБ под названием glm-4.7-flash:q8_0 на видеокарте GeForce RTX 5070 с 12 ГБ памяти. Архитектура проекта разделяет память на 3 уровня. 1 уровень представляет собой видеопамять самого ускорителя с пропускной способностью около 336 ГБ/с, где хранятся активные слои. 2 уровень задействует 51 ГБ системной памяти стандарта DDR4 со скоростью около 32 ГБ/с через интерфейс PCIe 4.0. 3 уровень использует 64 ГБ пространства на NVMe накопителе со скоростью 1.8 ГБ/с в качестве резервного варианта.
Драйвер с открытым исходным кодом распространяется по лицензии GPLv2 и работает вместе с официальным программным обеспечением NVIDIA. Модуль выделяет страницы памяти по 2 МБ, а специальная библиотека перехватывает запросы. Задачи объемом менее 256 МБ передаются напрямую в среду выполнения CUDA, тогда как крупные массивы данных перенаправляются в системную оперативную память. Это позволяет приложению использовать расширенный объем памяти прозрачно, не требуя изменения исходного кода самих программ. Для безопасности в систему добавлен мониторинг, который непрерывно контролирует нагрузку на оперативную память и накопители.
