Технологія EgoTouch перетворює долоню на віртуальний контролер

Інженери з Інституту взаємодії людини і комп'ютера Університету Карнегі-Меллона розробили інноваційну технологію EgoTouch, яка перетворює долоню користувача на віртуальний контролер для роботи у віртуальній та доповненій реальності.

Головною метою команди стало створення максимально зручного способу керування, що виключає необхідність у додаткових пристроях. Попередні дослідження показали, що використання віртуальних інтерфейсів, розміщених на тілі користувача, значно зручніше і точніше, ніж жести в повітрі. Однак подібні рішення зазвичай вимагають складних камер глибини для відстеження положення тіла. Технологія EgoTouch вирішує цю проблему, використовуючи стандартні камери.

Алгоритм EgoTouch навчений розпізнавати тіні та деформації шкіри, які виникають при дотику пальцем поверхні долоні. Камера фіксує ці зміни, зіставляє їх із віртуальним інтерфейсом, відображеним на долоні, і визначає дії користувача. Для навчання нейромережі добровольці виконували серії дотиків з встановленим датчиком на пальці та камерою, що фіксувала кожен рух.

Тестування технології показало вражаючі результати: точність розпізнавання дотиків досягла 96%, а сили натискання — 98%. Це відкриває перспективи для широкого застосування EgoTouch, роблячи взаємодію з віртуальною реальністю більш інтуїтивною та доступною.