Издательство
Каталог
Авторам
Рекламодателям
КонтактыВНИМАНИЕ!
Новый адрес редакций журналов Колодезный пер., 2 А.
ООО «Издательство «Инновационное машиностроение»
- КНИГИ Прайс-лист
- ЖУРНАЛЫ Прайс-лист
Книги и журналы, просмотренные ранее
Статьи автора
К последнему номеру журналаВсе статьи автора в журнале: Го У.
- Супервизорная система для коллаборативной робототехнической ячейки на основе RGBD-камерыSupervisory system for a collaborative robotic cell based on an RGBD cameraАвторы статьиAuthorsГо У.Go U.Серебренный В.В.Serebrennyiy V.V.Шереужев М.А.SHereujev M.A.Шэнь С.SHen S.Пак Л.А.Pak L.A.ug@student.bmstu.ruug@student.bmstu.ru
Супервизорная система для коллаборативной робототехнической ячейки на основе RGBD-камеры
УДК 621.22
DOI: 10.36652/0869-4931-2024-78-8-350-358
Задача слежения в коллаборативной робототехнической ячейке является актуальной. Супервизорная система в первую очередь необходима для организации безопасного взаимодействия человека и робота. В данной работе рассмотрен иной подход к применению подобных систем. Предложены две RGBD-камеры для моделирования состояния и поведения человека в целях дальнейшей организации диалога между роботами и людьми. Диалог необходим для динамического распределения задач. В связи с этим разработаны четыре алгоритма с применением нейронных сетей: для распознавания лиц, тела, жестов и инструментов. Для распознавания лиц применяется библиотека Python «face_recognition», предоставленная Адамом Гейтгеем. Для определения ключевых точек тела и рук используются два фреймворка, OpenPose и MediaPipe (приведен их сравнительный анализ). Работа двух моделей сверточной нейронной сети (YOLOv5 и YOLOv7) проанализирована по критерию точности для распознавания инструментов. Концепция данной работы представлена в виде конечного автомата состояний на основе пакета ROS2. Моделирование динамического распределения задач выполнено манипулятором в симуляторе Gazebo. Экспериментальные результаты демонстрируют эффективность данной супервизорной системы.
Ключевые слова
сотрудничество человека и робота, взаимодействие человека с роботом, динамическое распределение задач
Supervisory system for a collaborative robotic cell based on an RGBD camera
The task of tracking in a collaborative robotic cell is relevant. A supervisory system is primarily necessary to organize safe interaction between a person and a robot. This paper considers a different approach to the use of such systems. Two RGBD cameras to simulate the state and behavior of a person meant to organize in future a dialogue between robots and people are proposed. Dialogue is necessary for the dynamic distribution of tasks. In this connection, four algorithms using neural networks for recognizing faces, bodies, gesture and tools are developed. The Python library «face recognition», provided by Adam Gategay, is used for facial recognition. To determine key points of the body and hands, two frameworks are used, OpenPose and MediaPipe (a comparative analysis of them is provided). The performance of two convolutional neural network models (YOLOv5 and YOLOv7) is analyzed based on the accuracy criterion for tool recognition. The concept of this work is presented in the form of a state machine based on the ROS2 package. Modeling of dynamic task distribution is performed by using a manipulator in the Gazebo simulator. Experimental results demonstrate the effectiveness of this supervisory system.
Keywords
person-robot collaboration, peson-robot interaction, dynamic task distribution
- Применение модифицированной нейронной сети YOLOv5 для распознавания движущихся людей в помещенииApplication of a modified neural network YOLOv5 for recognition of indoors moving peopleАвторы статьиAuthorsШэнь СиньSHen SinГо У.Go U.Неусыпин К.А.Neusypin K.А.Лукьянов В.В.Lukyanov V.V.Shenxin@yandex.ru, ug@student.bmstu.ru, vdmlknv@yandex.ruShenxin@yandex.ru, ug@student.bmstu.ru, vdmlknv@yandex.ru
Применение модифицированной нейронной сети YOLOv5 для распознавания движущихся людей в помещении
УДК 681.513
DOI: 10.36652/0869-4931-2024-78-8-362-370
Предлагается улучшение визуальной динамической SLAM-системы за счет объединения нейронной сети YOLOv5 с модулями механизма внимания CBAM и BiFPN. Особое внимание уделяется эффективному обнаружению динамических объектов (людей), решению проблем окклюзии изображения и обнаружения малых объектов, повышению общей производительности системы в динамических средах. Полученные результаты демонстрируют эффективность метода и его потенциал для применения в робототехнике и автономных автомобилях.
Ключевые слова
механизм внимания CBAM, двунаправленная сеть пирамид характеристик, обнаружение человека, окклюзия, динамический SLAM, детектор YOLO
Application of a modified neural network YOLOv5 for recognition of indoors moving people
It is proposed to improve the visual dynamic SLAM system by combining the YOLOv5 neural network with the attention mechanism modules CBAM and BiFPN. Special attention is paid to the effective detection of dynamic objects (people), solving problems of image occlusion and small object detection, and increase of overall system performance in dynamic environments. The obtained results demonstrate the effectiveness of the method and its potential for application in robotics and autonomous vehicles.
Keywords
CBAM attention mechanism, bidirectional feature pyramid network, person detection, occlusion, dynamic SLAM, YOLO detector
