Все статьи автора в журнале: Шэнь С.

1. Супервизорная система для коллаборативной робототехнической ячейки на основе RGBD-камеры

   Supervisory system for a collaborative robotic cell based on an RGBD camera

   Номер: 2024 / 08

   Го У. | Go U. | Серебренный В.В. | Serebrennyiy V.V. | Шереужев М.А. | SHereujev M.A. | Шэнь С. | SHen S. | Пак Л.А. | Pak L.A. | ug@student.bmstu.ruug@student.bmstu.ru

   Авторы статьи

   Authors

   Го У.

   Go U.

   Серебренный В.В.

   Serebrennyiy V.V.

   Шереужев М.А.

   SHereujev M.A.

   Шэнь С.

   SHen S.

   Пак Л.А.

   Pak L.A.

   ug@student.bmstu.ru

   ug@student.bmstu.ru

   ---

   Супервизорная система для коллаборативной робототехнической ячейки на основе RGBD-камеры

    

   УДК 621.22

   DOI: 10.36652/0869-4931-2024-78-8-350-358

    

   Задача слежения в коллаборативной робототехнической ячейке является актуальной. Супервизорная система в первую очередь необходима для организации безопасного взаимодействия человека и робота. В данной работе рассмотрен иной подход к применению подобных систем. Предложены две RGBD-камеры для моделирования состояния и поведения человека в целях дальнейшей организации диалога между роботами и людьми. Диалог необходим для динамического распределения задач. В связи с этим разработаны четыре алгоритма с применением нейронных сетей: для распознавания лиц, тела, жестов и инструментов. Для распознавания лиц применяется библиотека Python «face_recognition», предоставленная Адамом Гейтгеем. Для определения ключевых точек тела и рук используются два фреймворка, OpenPose и MediaPipe (приведен их сравнительный анализ). Работа двух моделей сверточной нейронной сети (YOLOv5 и YOLOv7) проанализирована по критерию точности для распознавания инструментов. Концепция данной работы представлена в виде конечного автомата состояний на основе пакета ROS2. Моделирование динамического распределения задач выполнено манипулятором в симуляторе Gazebo. Экспериментальные результаты демонстрируют эффективность данной супервизорной системы.

    

   ---

   Ключевые слова

   сотрудничество человека и робота, взаимодействие человека с роботом, динамическое распределение задач

   Supervisory system for a collaborative robotic cell based on an RGBD camera

   The task of tracking in a collaborative robotic cell is relevant. A supervisory system is primarily necessary to organize safe interaction between a person and a robot. This paper considers a different approach to the use of such systems. Two RGBD cameras to simulate the state and behavior of a person meant to organize in future a dialogue between robots and people are proposed. Dialogue is necessary for the dynamic distribution of tasks. In this connection, four algorithms using neural networks for recognizing faces, bodies, gesture and tools are developed. The Python library «face recognition», provided by Adam Gategay, is used for facial recognition. To determine key points of the body and hands, two frameworks are used, OpenPose and MediaPipe (a comparative analysis of them is provided). The performance of two convolutional neural network models (YOLOv5 and YOLOv7) is analyzed based on the accuracy criterion for tool recognition. The concept of this work is presented in the form of a state machine based on the ROS2 package. Modeling of dynamic task distribution is performed by using a manipulator in the Gazebo simulator. Experimental results demonstrate the effectiveness of this supervisory system.

   ---

   Keywords

   person-robot collaboration, peson-robot interaction, dynamic task distribution