NVIDIA объявила, что ее платформа Omniverse закладывает основу для генеративного ИИ в таких играх, как STALKER 2 и Fort Solis с RTX.
На GDC NVIDIA объявила, что разработчики игр используют ее платформу Omniverse и недавно анонсированные облачные сервисы AI Foundations, которые позволяют пользователям работать с пользовательскими LLM и генеративным ИИ, обученным на их собственных данных. И эта технология позволяет разработчикам игр впервые попробовать использование технологии генеративного ИИ для улучшения создания игр и игровых активов.
В качестве примера NVIDIA демонстрирует Ominverse ACE или Avatar Cloud Engine, который можно использовать для оживления аватаров или моделей, создавая выразительные голоса персонажей с помощью ИИ речи и перевода на базе NVIDIA Riva или используя технологию Omniverse Audio2Face для 2D и 3D анимации персонажей на базе ИИ. Ниже представлен предварительный просмотр технологии NVIDIA Omniverse Audio2Face в действии:
Что еще более впечатляет в этом превью, так это то, что оно не только полностью сгенерировано ИИ и выглядит фотореалистично с общим улучшением качества лицевой анимации и синхронизации губ на нескольких языках, но и использует технологии NVIDIA RTX. В сцене выше используется полное лучевое подповерхностное рассеивающее затенение в реальном времени или SSS для дальнейшего улучшения визуальной достоверности.
Сотрудники GSC Game World используют технологию NVIDIA Omniverse Audio2Face в своей грядущей S.T.A.L.K.E.R. 2 Head of Chernobyl, а вторая студия, Fallen Leaf, собирается использовать эту технологию в своем научно-фантастическом триллере от третьего лица Fort Solis.
На другой сессии разработчиков Ксихао Фу из Tencent рассказывает о рендеринге волос в реальном времени с помощью