Micron и NVIDIA нашли способ заставить ИИ отвечать в 2,3 раза быстрее: представлен модуль памяти, который перевернет представление о серверах
Micron представила первые в отрасли модули оперативной памяти формата SOCAMM2 объемом 256 Гбайт. Новые модули используют монолитные кристаллы LPDDR5X емкостью 32 Гбит, что позволило не только нарастить объем в рамках одного модуля, но и значительно сократить физические габариты. По сравнению с традиционной серверной памятью типа RDIMM, новые планки потребляют примерно в три раза меньше энергии и занимают меньше места.
В компании подчеркивают, что разработка велась в тесном сотрудничестве с NVIDIA и основная задача заключалась в том, чтобы снять узкое место, связанное с так называемым KV-кешем (key-value cache) при работе с длинными контекстными окнами. В задачах инференса (вывода моделей) память графического процессора критически важна, но часть данных можно выгружать в общую системную память, но до сих пор это тормозило вычисления из-за недостаточной скорости CPU-памяти.
Стандарт SOCAMM2 призван решить эту проблему и по данным Micron, если оснастить 8-канальный процессор двумя терабайтами такой памяти, то время до выдачи первого токена (ключевой показатель задержки для чат-ботов) сокращается в 2,3 раза, ИИ-ассистенты начнут отвечать быстрее, даже когда речь идет об обработке больших документов или длинной истории переписки.
Модуль представляет собой гибридное решение: с одной стороны, это распаиваемая память (как в ноутбуках или смартфонах), а с другой — она выполнена в виде сменного модуля, что дает производителям серверов гибкость в конфигурации без потерь в энергоэффективности, свойственной LPDDR-стандарту.
Партнеры уже получили инженерные образцы для тестирования. Ожидается, что публичный показ новинки и подробности о внедрении в реальные серверные платформы пройдут на конференции GTC 2026, где NVIDIA традиционно
