Компания Nvidia представила Project G-Assist — локального ИИ-помощника, который помогает в играх и приложениях для ПК. Он способен оценивать происходящее на экране и понимать контекст, и может предложить победную тактику в игре, проанализировать ошибки геймера или помочь в сложных творческих задачах. Данное решение было представлено в рамках презентации Nvidia на выставке Computex 2024.
Источник изображений: Nvidia
По словам Nvidia, ассистенты с искусственным интеллектом изменят игровой процесс и работу с приложениями. Современные игры для ПК предлагают огромные вселенные для исследования и множество механик для освоения, что может быть сложно и требовать много времени даже для самых заядлых геймеров. Цель проекта G-Assist — предоставить игрокам возможность получать знания об играх налету с помощью генеративного ИИ.
Project G-Assist принимает голосовые или текстовые команды от игрока, а также контекстную информацию с экрана и прогоняет эти данные через модели компьютерного зрения. Эти модели улучшают контекстную осведомленность и понимание специфики приложения большой языковой модели (LLM), связанной с базой знаний игры. В конечном итоге система генерирует индивидуальный ответ в виде текста или речи.
Например, помощник может предложить тактику против игрового босса, подсказать решение головоломки, или рассказать, как создать или найти тот или иной игровой предмет. Поклонникам соревновательных игр G-Assist поможет разобрать демку после матча и проанализировать ошибки и игру в целом, прямо как тренер.
NVIDIA в сотрудничестве с разработчиками из Studio Wildcard продемонстрировала технологию G-Assist в игре ARK: Survival Ascended. ИИ-помощник ответил на вопросы о существах, предметах, истории, целях, сложных боссах и многом