Камера считывает положение и угол поворота руки в различных точках и проецирует на дисплей с помощью специального алгоритма, который быстро сканирует базу данных, выбирая из более чем 2,5 млн. позиций наиболее подходящий вариант.
Чтобы максимально ускорить отображение виртуального движения, программа может предсказывать возможные состояния руки. Алгоритм также способен выяснить и отобразить невидимые для камеры положения пальцев и кисти.
В процессе создания DeepHand исследователям пришлось начинать с распознавания жестов, постепенно заполняя ими базу данных, для чего потребовался довольно мощный процессор. Как только вся «черновая» работа будет завершена, систему можно будет адаптировать для обычного компьютера.
