Нейронный рендеринг представляет собой концепцию, в которой части кадра в 3D-графике генерируются с помощью генеративных моделей искусственного интеллекта (AI), работающих в тандеме с традиционным растровым 3D-графическим конвейером и другими инновационными технологиями, такими как трассировка лучей в реальном времени.
В отличие от технологий AI-увеличения разрешения, где генеративный AI используется для повышения разрешения входных кадров, нейронный рендеринг предполагает прямое участие AI в процессе генерации графики. Одним из ключевых элементов этой технологии являются кооперативные векторы, которые обеспечивают обмен информацией между традиционным графическим конвейером и генеративной моделью AI. Это позволяет графическому конвейеру сообщать AI-модели, какие задачи необходимо выполнить, и что представляет собой истинное состояние сцены.
Команда Microsoft, работающая с языком шейдеров HLSL, тесно сотрудничает с ведущими производителями графических процессоров, включая AMD, Intel, NVIDIA и Qualcomm, для обеспечения поддержки кооперативных векторов в экосистеме DirectX. Первые результаты этого сотрудничества будут видны в будущих моделях GPU серии NVIDIA GeForce RTX 50 "Blackwell", которые будут использовать кооперативные векторы для реализации нейронного затенения.
Как отмечает Microsoft, нейронные шейдеры имеют потенциал революционизировать 3D-графику, позволяя визуализировать игровые объекты с помощью AI, оптимизировать геометрию для улучшения производительности трассировки путей и создавать персонажей с фотореалистичной графикой. Это означает, что нейронный рендеринг может принести игрокам еще более иммерсивный и реалистичный опыт.