Google хочет превратить курсор мыши в полноценного ИИ-помощника

vgtimes.ru:

В Google DeepMind представили концепцию переработанного указателя мыши, который объединяет привычный курсор с возможностями ИИ. Основная идея — избавить пользователя от необходимости формулировать сложные текстовые запросы и перемещаться между окнами, заставив саму систему считывать контекст того, что находится под курсором. Авторы проекта опубликовали в блоге компании описание четырёх принципов, на которых строится новая механика взаимодействия. Они отмечают, что за полвека курсор практически не изменился, хотя сами компьютеры пережили несколько технологических волн.

Сегодня большинство ИИ-сервисов живут в отдельных вкладках или приложениях и чтобы получить помощь, нужно сначала описать задачу словами, а часто ещё и вручную перенести контекст — скопировать текст, прикрепить файл, сделать скриншот. В DeepMind предлагают обратную логику: ИИ должен сам «приходить» к пользователю туда, где тот работает, и понимать, что ему нужно, на основе положения курсора и минимальных подсказок. Экспериментальная система на базе Gemini фиксирует не просто координаты, а сам объект под указателем — будь то слово, блок текста, изображение, дата или элемент интерфейса. После этого достаточно короткой голосовой или текстовой команды. Например, можно навести курсор на фотографию здания и сказать «построй маршрут» — ИИ сам определит адрес, не требуя дополнительных пояснений. Или выделить рецепт и попросить «удвой ингредиенты», навести на таблицу с цифрами и запросить «сделай круговую диаграмму», указать на PDF и сказать «перескажи кратко».

Разработчики назвали четыре ключевых принципа такой механики:

В видеодемонстрации, опубликованные командой DeepMind, показывают работу прототипа в экспериментальной среде. Курсор визуально меняет форму,