Знакомые жесты: Помаши рукой роботу
Впрочем, эта ситуация может измениться, если авторы новой технологии доведут ее «до ума»: они разрабатывают решение, которое позволит БПЛА распознавать жесты человека не хуже, чем это делает какая-нибудь современная игровая приставка. Проект состоит из двух важных задач: первая — возможность распознавать силуэт человека на «шумной» картинке; вторая — узнавать специфические жесты, состоящие из определенной последовательности движений силуэта, и отбрасывать, как несущественные, все прочие.
Для этого авторы используют стереоскопическую видеокамеру. Они записали серию роликов, на которых человек демонстрирует 24 жеста, наиболее распространенных у авиаторов. Система устроена таким образом, чтобы выделять на силуэте положения локтей и кистей рук, а также большого пальца, и отмечать открытую или закрытую ладонь. Эта задача уже выполнена, и теперь разработчики программируют алгоритмы, которые позволят на основе этих данных узнавать конкретные жесты.
Пошаговый анализ одного кадра за другим был бы чересчур сложной и ресурсоемкой задачей. Поэтому система разбивает запись на фрагменты длительностью около трех секунд (примерно 60 кадров). Отдельные жесты могут не попасть в такие фрагменты целиком, так что разбивка идет с некоторым перекрытием: новый начинается еще до того, как закончится следующий.
На следующем шаге начинается анализ положения человека на каждом кадре: алгоритм ориентируется на уже названные выше ключевые точки — большой палец, локти, кисти, ладонь. Их относительное расположение сопоставляется с данными, соответствующими всем 24-м жестам, имеющимся в памяти системы. Если оно будет подходить к одному из вариантов, алгоритм попробует сравнить следующие кадры.
Пока что авторам удалось достичь 76-процентной точности в распознавании жестов. Конечно, для реального использования где-нибудь на авианосце этого совершенно недостаточно, и им предстоит еще немалая работа по доведению своего подхода до совершенства.
По сообщению MIT News