Инженер научил обычную веб-камеру распознавать жесты рук, что позволяет рисовать и управлять браузером
playground.ruИнженер и разработчик Начо Мартин поделился своими последними разработками в модернизации привычного управления ПК. Ему удалось обучить самую простую веб-камеру распознавать все жесты рук и с их помощью управлять различными элементами в браузере или даже начать рисовать.
Цель энтузиаста состоит в том, чтобы отойти от привычных клавиатур и компьютерных мышек, заменив их на управление руками, как популярный научно-фантастических фильмах. В частности он вдохновлялся идей управления жестами из картины "Особое мнение" с Томом Крузом.
Для управления с помощью жестов рук инженер написал специальную библиотеку на базе JavaScript, которая использует искусственный интеллект Google Mediapipe. Нейросеть обеспечивает распознавание положения пальцев, записанного с веб-камеры, и генерирует события HTML, похожие на события мыши или касания, поэтому руки можно использовать для взаимодействия с браузером.
Идея управления руками выглядит многообещающе, но пока еще далека от комфортного использования. Как отмечает Начо Мартин, нейросеть позволяет избавиться от специальных перчаток и особой камеры, которая бы считывала положение рук, но все еще ему предстоит решить проблему большой задержки ввода.
