Если ваш друг говорит, что с ним всё в порядке, но при этом его кулаки напряжённо сжаты, то вы сразу начнёте сомневаться в искренности приятеля. Но вот роботы не заметят подвоха и слова человека воспримут за чистую монету. Язык тела может показать и рассказать очень многое, но даже с нынешними достижениями в области компьютерного зрения и технологии распознавания лиц роботы не могут замечать тонкие движения тела и, в результате, пропускают важные социальные сигналы. Исследователи из Университета Карнеги – Меллона разработали систему отслеживания тела, которая может решить эту проблему.
Система OpenPose отслеживает движения тела, рук и лица в режиме реального времени. Она использует «компьютерное зрение» и машинное обучение для обработки видеокадров и способна отлеживать движения сразу нескольких людей. Новая возможность призвана облегчить взаимодействие между человеком и роботом и стать опорой для развития более интерактивной виртуальной и дополненной реальности, а также интуитивно понятных пользовательских интерфейсов.
Одной из примечательных особенностей OpenPose является то, что она может отслеживать не только голову человека, туловище и конечности, но и отдельные пальцы на руках. Для этого исследователи использовали Panoptic Studio CMU (купол, покрытый 500 камерами), где учёные захватывали позы тела под разными углами, а затем использовали эти изображения для создания набора данных.
Panoptic Studio CMU
Затем они передавали эти изображения через так называемый детектор ключей, чтобы идентифицировать и маркировать определенные части тела. Программное обеспечение также учится связывать части тела с отдельными людьми, например, известно, что рука конкретного человека всегда будет близка к его локтю. Это позволяет отслеживать сразу нескольких людей.
Изображения с купола были захвачены в 2D. Но исследователи взяли обнаруженные ключевые точки и перевели их в 3D, чтобы помочь алгоритмам отслеживания тела понять, как каждая поза «видится» с разных точек зрения. При обработке всех этих данных система может определить, как выглядит вся рука, когда она находится в определенном положении, даже если некоторые пальцы скрыты.
Теперь, когда система имеет необходимый набор данных, она может работать только с одной камерой и ноутбуком. Это больше не требует массивного купола с камерами, что делает технологию мобильной и доступной. Исследователи уже опубликовали свой код, чтобы учёные со всего мира могли проводить эксперименты.
Команда разработчиков считает, что эта технология может применяться ко всем видам взаимодействия между людьми и машинами. Он может играть огромную роль в VR, позволяя более точно обнаруживать физическое движение пользователя без какого-либо дополнительного оборудования, например, сенсорных датчиков или перчаток. Это также может способствовать более естественному взаимодействию с домашним роботом. Вы могли бы сказать своему роботу «забрать это», и он сразу сможет понять, на что вы указываете. Понимая и интерпретируя свои физические жесты, робот может даже научиться читать эмоции, отслеживая язык тела. Поэтому, когда вы тихо плачете, уткнувшись лицом в руки, потому что робот забрал вашу работу, он сможет предложить вам платок.