Разработка Python приложения для распознавания жестов рук из видеопотока RGB и RGBD камер

Abstract

Системы распознавания жестов сильно изменились за последнее время, благодаря разработке современных устройств захвата данных (сенсоров) и разработке новых алгоритмов для распознавания. В статье представлены результаты исследования для распознавания статических и динамических жестов рук из видеопотока с RGB и RGBD камер, а именно с веб-камеры Logitech HD Pro Webcam C920 и с камеры глубины Intel RealSense D435. Программная реализация выполнена с использованием инструментов Python 3.6. Python-библиотеки с открытым исходным кодом обеспечивают надежную реализацию алгоритмов обработки и сегментации изображений. Подсистема извлечения признаков и классификации жестов построена на основе архитектуры нейронной сети VGG-16, реализованной c использованием фреймворков глубокого обучения TensorFlow и Keras. Приведены технические характеристики камер. Описан алгоритм работы приложения. Приведены исследования, направленные на сравнение устройств захвата данных, при различных условиях эксперимента (по расстоянию и освещенности). Экспериментальные результаты показывают, что использование камеры глубины Intel RealSense D435 обеспечивается более точное распознавание жестов при различных условиях эксперимента.