NVIDIA раскрыла подробности DLSS 5: три модели, управление отдельными объектами и поддержка работы на одном GPU
Разработчики смогут применять DLSS 5 отдельно к персонажам и отдельным объектам.
После анонса DLSS 5 NVIDIA столкнулась с критикой из-за слишком «ИИ-генерируемого» вида демонстрационных изображений. Компания заявила, что новая технология сохранит художественный замысел авторов и предоставит разработчикам значительно больше контроля над итоговой картинкой.
На SIGGRAPH NVIDIA впервые показала работу этих инструментов. DLSS 5 включает три модели, между которыми можно переключаться в зависимости от сцены, а также позволяет отдельно настраивать обработку персонажей, объектов и других элементов изображения. Технология работает поверх уже традиционно отрисованного кадра, улучшая материалы, тени, отражения и другие визуальные детали, не изменяя геометрию, камеру и композицию сцены.
NVIDIA выделила три ключевые задачи DLSS 5.
Главной задачей стало сохранение оригинального художественного стиля. Чтобы ИИ не изменял важные детали вроде черт лица, шрамов или элементов одежды, DLSS 5 использует не только готовый кадр, но и внутренние данные игрового движка, включая albedo, нормали поверхностей и информацию об освещении.
Также NVIDIA уделила внимание временной стабильности и производительности. DLSS 5 обрабатывает кадры по одному без анализа будущих кадров, используя векторы движения и данные движка для устранения мерцания и дрейфа изображения. При этом технология основана на компактной одношаговой диффузионной модели и, как ожидается, сможет работать на одном GPU с эффективным использованием видеопамяти, хотя совместимость со всей линейкой RTX 50 пока не подтверждена.
DLSS 5 будет включать несколько моделей, обученных с разными параметрами. NVIDIA продемонстрировала Model A, Model B и Model C, каждая из которых по-разному интерпретирует
