|本期目录/Table of Contents|

[1]黄瑜豪,曾祥进*,冯 崧.面向边缘设备的轻量级OpenPose姿态检测模型研究[J].武汉工程大学学报,2024,46(04):424-430.[doi:10.19843/j.cnki.CN42-1779/TQ.202311008]
　HUANG Yuhao,ZENG Xiangjin*,FENG Song.A lightweight OpenPose posture detection model for edge devices[J].Journal of Wuhan Institute of Technology,2024,46(04):424-430.[doi:10.19843/j.cnki.CN42-1779/TQ.202311008]
点击复制

面向边缘设备的轻量级OpenPose姿态检测模型研究(/HTML)
分享到：

《武汉工程大学学报》[ISSN:1674-2869/CN:42-1779/TQ]

卷:
46
期数:
2024年04期
页码:
424-430
栏目:
机电与信息工程
出版日期:
2024-08-28

文章信息/Info

Title:
A lightweight OpenPose posture detection model for edge devices
文章编号:
1674 - 2869（2024）04 - 0424 - 07
作者:
黄瑜豪1; 2; 曾祥进*1; 2; 冯 崧1; 2
1. 武汉工程大学计算机科学与工程学院，湖北 武汉 430205；
2. 湖北三峡实验室，湖北 宜昌 443007
Author(s):
HUANG Yuhao1; 2; ZENG Xiangjin*1; 2; FENG Song1; 2
1. School of Computer Science and Engineering，Wuhan Institute of Technology， Wuhan 430205， China；
2. Hubei Three Gorges Laboratory， Yichang 443007， China
关键词:
人工智能; OpenPose; 移动网络; 机器视觉
Keywords:
artificial intelligence;  OpenPose;  mobile networks;  computer vision
分类号:
TP391.4
DOI:
10.19843/j.cnki.CN42-1779/TQ.202311008
文献标志码:
A
摘要:
为了在低算力的边缘设备上使人体行为识别网络兼顾实时性和识别效果，提出了一种改进的轻量级OpenPose姿态检测模型。使用移动网络替换原主干特征提取网络，在特征提取网络的浅层使用倒置残差结构，减少浅层网络的运算量，在网络深层引入卷积块注意力模块，调整深层特征信息的权重，并将浅层网络特征与深层网络特征融合后送入卷积网络进行骨骼关键点的拼接，有效融合浅层和深层的特征信息。在COCO数据集上的验证结果表明：改进模型与原模型相比，正确关键点百分比提升了2.8%，平均精度提升了2.0%。使用改进后的模型作为预训练模型在行为数据集上标记骨骼关键点用作分类训练，将完成分类训练的模型部署在边缘设备上，在边缘设备运行速度略微降低的情况下，通过改进后的模型进行人体行为识别的准确率达到96.4%，有效实现在边缘设备上的姿态检测和人体行为识别。
Abstract:
In order to achieve real-time human behavior recognition on edge devices with low computational power while keeping a balance between real-time performance and recognition effectiveness， we proposed an improved lightweight OpenPose posture detection model. The model replaces the original backbone feature extraction network with mobile networks， uses inverted residual structures in the shallow layers of the feature extraction network to reduce computational complexity， introduces convolutional block attention module in the deep layers to adjust the weights of deep feature information， and fuses shallow and deep feature information after merging them before feeding them into the convolutional network for the concatenation of skeleton keypoints. This effectively integrates both shallow and deep feature information. Validation results on the COCO dataset show that compared to the original model， the improved model achieves a 2.8% increase in correct keypoint percentage and a 2.0% increase in average precision. Using the improved model as a pre-trained model， skeletal keypoints are labeled on a behavioral dataset for classification training. When deploying the trained model on edge devices， even with a slight decrease in operating speed on edge devices， the accuracy of human behavior recognition reached 96.4%， effectively realizing posture detection and human behavior recognition on edge devices.

参考文献/References:

［1］ 李清格，杨小冈，卢瑞涛，等. 计算机视觉中的Transformer发展综述［J］. 小型微型计算机系统，2023，44（4）：850-861.

［2］ 魏麟，谭任翔，何峻毅，等. 基于改进YOLOv5的飞行员异常行为识别方法［J］. 航空计算技术，2023，53（6）：20-24.
［3］ 崔悦，张德育，王国杰. 基于F-Faster-RCNN算法的摔倒检测研究［J］. 沈阳理工大学学报，2023，42（1）：1-6.
［4］ 李冠，庞玉琳，田坤. 基于YOLO和ConvLSTM混合神经网络的暴力视频检测［J］.计算机应用与软件，2023，40（11）：233-240.
［5］ CAO Z， SIMON T， WEI S E， et al. Realtime multi-person 2D pose estimation using part affinity fields［C］//Proceedings of the IEEE conference on computer vision and pattern recognition. Piscataway，NJ：IEEE，2017：7291-7299.
［6］ RAMESH S H， LEMAIRE E D， TU A， et al. Automated implementation of the edinburgh visual gait score （EVGS） using OpenPose and handheld smartphone video［J］. Sensors，2023，23（10）：4839.
［7］ 李一凡，袁龙健，王瑞. 基于OpenPose改进的轻量化人体动作识别模型［J］.电子测量技术，2022，45（1）：89-95.
［8］ 王非，刘军. 基于MobileNet和NAM注意力机制的轻量级OpenPose网络［J］.通信与信息技术，2023（2）：8-12.
［9］ 陈江川，吴云韬，孔权. 基于CBAM-Res2Net的人群计数算法［J］.武汉工程大学学报，2022，44（6）：664-669.
［10］ PFISTER T， SIMONYAN K， CHARLES J， et al. Deep convolutional neural networks for efficient pose estimation in gesture videos［C］//Computer Vision-ACCV 2014. Berlin：Springer，2015： 538-552.
［11］ HOWARD A G， ZHU M L，CHEN B， et al. MobileNets：efficint convolutional neural networks for mobile vision applications［OL］.（2017-04-17）［2023-11-15］. https：//doi.org/10.48550/arXiv.1704.
04861.
［12］ 刘树东，刘业辉，孙叶美，等.基于倒置残差注意力的无人机航拍图像小目标检测［J］.北京航空航天大学学报，2023，49（3）：514-524.
［13］ 刘群坡，盛月琴，高如新，等.基于关键帧和注意力残差网络的手语识别［J］.计算机工程，2023，49（12）：224-230，242.
［14］ ALHASSAN A M， ZAINON W M N W. Brain tumor classification in magnetic resonance image using hard swish-based RELU activation function-convolutional neural network［J］. Neural Computing and Applications，2021，33（15）：9075-9087.
［15］ 伏娜娜，刘大铭，张恒博，等.面向嵌入式系统的人体行为识别［J］.激光与光电子学进展，2022，59（22）：2215001.
［16］ 贾小云，王二虎，吴敬一. Android平台下的实时人体行为识别［J］.计算机工程与应用，2018，54（24）：164-167，175.

相似文献/References:

备注/Memo

备注/Memo:
收稿日期：2023-11-15
基金项目：国家自然科学基金（61502355）；湖北省湖北三峡实验室创新基金（SC215001）
作者简介：黄瑜豪，硕士研究生。Email：hyh1184@163.com
*通信作者：曾祥进，博士，副教授。Email：xjzeng21@163.com
引文格式：黄瑜豪，曾祥进，冯崧. 面向边缘设备的轻量级OpenPose姿态检测模型研究［J］. 武汉工程大学学报，2024，46（4）：424-430.

更新日期/Last Update: 2024-08-31