Qualcomm представила чип для AR-очков с локальным запуском ИИ
Qualcomm анонсировала новый процессор Snapdragon Reality Elite, который ориентирован на шлемы, а также очки смешанной и дополненной реальности. Основной акцент сделан на локальном запуске генеративных ИИ-моделей без обращения к облаку.
По заявлению разработчика, нейронный блок чипа достигает производительности 48 TOPS, чего достаточно для работы больших языковых и визуальных моделей (LLM и LVM) прямо на устройстве, что позволяет реализовать на гарнитуре ИИ-агентов, создание фотореалистичных аватаров и генерацию объектов, вписанных в реальное окружение. В Qualcomm также отмечают, что улучшено отслеживание движений головы и рук, а режим оптической прозрачности получил аппаратную поддержку для более естественного наложения цифрового контента на физический мир.
Если сравнивать с предыдущим поколением XR2+ Gen 2, графическая подсистема Adreno прибавила до 60%, центральный процессор до 30%, а производительность NPU выросла на 160%. Отдельно упомянут блок Engine for Visual Analytics (EVA), который берёт на себя ресурсоёмкие задачи компьютерного зрения, включая измерение глубины сцены и ускоренную обработку сквозного видео. Дисплейная подсистема платформы поддерживает разрешение до 4,4K на каждый глаз при частоте 90 кадров в секунду, также снижена задержка видео-прохождения, что, по заверению Qualcomm, делает смешивание виртуальных объектов с реальностью более бесшовным. При той же нагрузке, что и у предшественника, энергопотребление удалось сократить примерно на 20%.
Первым коммерческим продуктом на Snapdragon Reality Elite станут очки Project Aura, которые готовит компания Xreal совместно с Google. Новинка будет работать под управлением Android XR. Кроме того, о планах использовать платформу заявил производитель шлемов Play for
