Instant NeRF от NVIDIA использует искусственный интеллект для превращения 2D-фотографий в 3D-сцены

playground.ru:

На GTC 2022 исследовательская группа NVIDIA представила впечатляющую технологию Instant NeRF, которая может превращать 2D-фотографии в 3D-сцены за считанные секунды. Для этого исследователи использовали возможности ИИ, в частности, через так называемые поля нейронного излучения. NeRF используют нейронные сети для реконструкции сцены из изображений, предсказывая цвет света, излучаемого в любом направлении. NVIDIA утверждает, что Instant NeRF является самой быстрой технологией в своем роде, позволяя в некоторых случаях мультипликативное ускорение более чем в 1000 раз, так что рендеринг в 1080p происходит всего за миллисекунды.

Как обсуждал главный научный сотрудник Томас Мюллер в выступлении на GDC 2022 под названием «Мгновенные примитивы нейронной графики», этот сложный эффект является результатом трех основных улучшений: реализации алгоритма рендеринга/обучения для конкретной задачи на графическом процессоре, в котором используется мелкозернистый графический процессор; возможности управления потоком намного быстрее, чем плотные тензоры; полностью объединенная реализация небольшой нейронной сети, которая работает быстрее, чем процедуры умножения матриц общего назначения; наконец, NVIDIA разработала метод, называемый кодированием хэш-сетки с несколькими разрешениями, который не зависит от задачи и обеспечивает лучший компромисс между скоростью и качеством, чем ранее существовавшая работа.

Неудивительно, что модель Instant NeRF была разработана с помощью набора инструментов CUDA и библиотеки нейронных сетей Tiny CUDA. Вы можете глубже погрузиться в исследование и даже получить доступ к его коду на этой странице; по словам NVIDIA, нейронная сеть достаточно легкая, чтобы легко работать на одном графическом процессоре, особенно,