На выставке CES 2025 компания Digital Foundry взяла интервью у Брайана Катанзаро, вице-президента по исследованиям в области прикладного глубокого обучения, об анонсе NVIDIA DLSS 4 и его многочисленных улучшениях в области сверхразрешения, реконструкции лучей и генерации кадров.
Катанзаро рассказал о новых моделях трансформеров, которые заменяют CNN (сверточные нейронные сети) для сверхразрешения и реконструкции лучей. Они просто намного умнее, могут обучаться на больших наборах данных и в результате делать лучший выбор, устраняя такие давние недостатки NVIDIA DLSS, как мерцание или ореолы. Например, новая модель сверхразрешения имеет в четыре раза больше вычислительных ресурсов по сравнению с предыдущей. Катанзаро не дал оценку того, насколько увеличится время рендеринга, но он сказал, что NVIDIA считает, что это лучший способ играть на новых видеокартах GeForce RTX 50 на базе Blackwell, которые выйдут в конце этого месяца.
Генерация кадров также получит улучшения, отказывшись от предыдущей модели, основанной на аппаратном ускорителе Optical Flow, в пользу решения, полностью работающего на основе ИИ. Вот почему NVIDIA это делает:
Новая модель генерации кадров больше использует тензорные ядра, но использует меньше VRAM, обеспечивает улучшенное качество изображения (что Катанзаро посчитал критически важным, особенно для новой генерации нескольких кадров, доступной на новых графических процессорах RTX 50), а также более эффективна, поскольку стоимость амортизируется за несколько кадров.
Алекс Батталья из DF спросил, можно ли портировать новую модель на старое оборудование, такое как GeForce RTX 30 Series, и глава NVIDIA DLSS не стал отрицать возможность.
Напоминаем, что когда NVIDIA представила Frame Generation с видеокартами