Аспирант Вимал Моллин из Университета Карнеги-Меллона сообщил о работе над новой технологией EgoTouch, позволяющей расположить «сенсорные экраны» непосредственно на телах VR-пользователей. Благодаря реализации подобного подхода можно будет не только убрать лишние окна, но и увеличить скорость взаимодействия с технологией, обеспечить точность и необходимую эргономику, если сравнивать со стандартным дизайном.
Одной из наиболее важных проблем нательных интерфейсов на данный момент аналитики считают необходимость применения камер с датчиками глубины, требуемых для отслеживания местоположения пользовательских конечностей. Однако при использовании технологии EgoTouch всё намного проще: применяется уже готовая оптическая RGB-камера, установленная на VR-гарнитуре. Остаётся только уловить тени и деформации кожи при нажатии пальца на ладонь, а затем наложить всё поверх виртуального меню.
Например, когда реальный палец пользователя нажимает на реальную ладонь, камера улавливает возникающие тени и деформации кожи. Сопоставляя местоположения этих визуальных индикаторов с виртуальным интерфейсом, отображаемым на ладони, можно определить, какие опции выбираются в мире VR.
Чтобы обучить алгоритм следить за изменениями кожи пользователей, разработчики провели исследование с группой добровольцев. Участники эксперимента установили RGB-камеры на голову, закрепили сенсорный датчик на пальце и просто нажимали в различные места на своей руке. По результатам проведения этого эксперимента алгоритм научился точно определять не только зону прикосновения, но и его интенсивность и продолжительность. Помимо этого, на точность улавливания прикосновений не влияли оттенок кожи, густота волос и степень освещённости в помещении.
При тестировании технология EgoTouch показала точность 96% при обнаружении прикосновения к ладони, с частотой ложных срабатываний около 5%. Также была показана точность 98% при определении мягкости или жесткости прикосновения. Она могла распознавать разные прикосновения: нажатие, поднятие и перетаскивание.
Вимал Моллин, автор работы и аспирант из Университета Карнеги-Меллона, заявил журналистам, что его команде удалось разработать систему, использующую камеру, которая уже установлена во всех VR-гарнитурах. При этом созданные технологии не нуждаются в калибровке и работают «прямо из коробки».
Ещё по теме:
- Apple добавила iPhone XS Max и другие модели в списки винтажных и устаревших продуктов
- Кордицепс: гриб из The Last of Us может стать ключом в борьбе с раком
- Мошенники в Швейцарии рассылают бумажные письма с QR-кодом, ведущим на скачивание вирусов
