Система распознает жесты рук для расширения компьютерного ввода на клавиатуре


Исследователи разрабатывают новую технологию, которая использует жесты рук для выполнения команд на компьютерах.


Прототип, называемый "Typealike", работает через обычную веб-камеру ноутбука с простым прикрепленным зеркалом. Программа распознает руки пользователя рядом с клавиатурой или рядом с ней и запрашивает операции, основанные на различных положениях рук.


Пользователь может, например, положить правую руку с большим пальцем, направленным вверх, рядом с клавиатурой, и программа распознает это как сигнал для увеличения громкости. Различные жесты и различные комбинации жестов могут быть запрограммированы для выполнения широкого спектра операций.


Инновация в области взаимодействия человека и компьютера направлена на то, чтобы сделать работу пользователя более быстрой и плавной, с меньшей потребностью в сочетаниях клавиш или работе с мышью и трекпадом.


"Все началось с простой идеи о новых способах использования веб-камеры", - сказал Налин Чиббер, недавний выпускник магистратуры Черитонской школы компьютерных наук Университета Ватерлоо. "Веб-камера направлена на ваше лицо, но наибольшее взаимодействие на компьютере происходит вокруг ваших рук. Поэтому мы подумали, что бы мы могли сделать, если бы веб-камера могла улавливать жесты рук?"


Первоначальное понимание привело к разработке небольшого механического приспособления, которое перенаправляет веб-камеру вниз, к рукам. Затем команда создала программное обеспечение, способное понимать различные жесты рук в различных условиях и для разных пользователей. Команда использовала методы машинного обучения для обучения программе, похожей на тип.


"Это нейронная сеть, поэтому вам нужно показать примеры алгоритмов того, что вы пытаетесь обнаружить", - сказал Фабрис Матулик, старший научный сотрудник Preferred Networks Inc. и бывший научный сотрудник в Ватерлоо. "Некоторые люди будут жестикулировать немного по-другому, а руки различаются по размеру, поэтому вам придется собирать много данных от разных людей с разными условиями освещения".


Команда записала базу данных жестов рук с десятками добровольцев-исследователей. Они также попросили добровольцев провести тесты и опросы, чтобы помочь команде понять, как сделать программу максимально функциональной и универсальной.


"Мы всегда стремимся создавать вещи, которые люди могут легко использовать", - сказал Дэниел Фогель, адъюнкт-профессор компьютерных наук в Ватерлоо. "Люди смотрят на что-то вроде Typealike или другую новую технологию в области взаимодействия человека и компьютера, и они говорят, что это просто имеет смысл. Это то, чего мы хотим. Мы хотим сделать технологию интуитивно понятной и простой, но иногда для этого требуется много сложных исследований и сложного программного обеспечения".


Исследователи говорят, что есть и другие приложения для программы, подобной Typealike, в виртуальной реальности, где она могла бы устранить необходимость в ручных контроллерах.


Исследование, похожее на тип: позы рук рядом с клавиатурой для расширенного взаимодействия с ноутбуком, автором которого являются Чиббер, Матулик, Фогель и член команды Хемант Бхаскар Сурале, недавно было опубликовано в журнале proceedings of ACM Взаимодействие человека и компьютера.

Веб-камеры достаточно, чтобы создать трехмерную модель движущейся руки в реальном времени



Франциска Мюллер, Институт информатики Макса Планка, разработала программную систему, для создания трехмерной модели движущейся руки в реальном времени требуется только встроенная камера ноутбука. фото: Оливер Дитце


Захват движений рук и пальцев в течение миллисекунд становится все более важным для многих приложений, от виртуальной реальности до взаимодействия человека и машины и индустрии 4.0. До сих пор его огромные технические требования ограничивали возможности применения. Ученые-компьютерщики из Института информатики Макса Планка в настоящее время разработали программную систему, включающую взаимодействие различных нейронных сетей, для которой требуется только встроенная камера ноутбука.


Впервые исследователи представят программу на стенде G75 в зале 27 компьютерной ярмарки Cebit, которая пройдет в Ганновере с 11 июня и далее.


Когда ученый-компьютерщик Франциска Мюллер держит руку перед камерой ноутбука, на экране появляется виртуальный аналог руки. На это накладывается красочный виртуальный скелет руки. Независимо от того, какие движения совершает рука Мюллера перед веб-камерой, цветные кости модели делают то же самое. Мюллер демонстрирует программное обеспечение, которое она разработала вместе с профессором Кристианом Теобальтом и другими исследователями из Института компьютерных наук Макса Планка в Саарбрюккене, Стэнфордского университета и Университета короля Испании Хуана Карлоса. До сих пор никакое другое программное обеспечение не может сделать это с такой недорогой камерой.


Поскольку он работает практически в любом виде снимаемой сцены, его можно использовать в любом месте и, таким образом, превосходит предыдущие подходы, для которых требуется камера глубины или несколько камер. Алгоритм, используемый системой, преобразует двумерную информацию видеоизображения в реальном времени в трехмерную модель движения костей руки. Он основан на так называемой "сверточной нейронной сети", или сокращенно CNN. Исследователи обучили его обнаруживать кости руки. Они сгенерировали необходимые обучающие данные с помощью другой нейронной сети. Результат: Программное обеспечение вычисляет точные трехмерные позы костей руки за миллисекунды. Даже если некоторые из них закрыты, например, яблоком, которое пользователь держит в руке, программное обеспечение компенсирует это. Однако система по-прежнему испытывает проблемы с обработкой нескольких рук, работающих вместе, и решение этой проблемы является следующей целью исследователей.
















Обсудить:

0 comments:

Всегда рады услышать ваше мнение!