面向手势识别的多传感器信号分类算法研究
摘要
近年来随着人工智能技术以及计算机领域的不断发展，手势识别作为一种新兴的
人机交互方式，其应用的领域和市场获得了持续的拓展与增长。手势识别领域的研究
方向大体上可分为两种：方向一主要通过视觉图像信息来分辨识别手势动作；方向二
则采用肌电传感等传感器，通过采集的传感器信息建模分析来识别手势。表面肌电信
号（sEMG）在手势识别领域获得了广泛的应用和研究，惯性传感单元（IMU）作为角
速度及加速度测量传感器，除用于物体运动追踪等方面外，也可作为手势识别的辅助
手段。本文开展了sEMG及IMU多传感器信号分类算法研究，在制作数据集的基础上，
改进和设计了深度学习网络模型，对比分析验证了多种算法的准确率和有效性。具体
工作内容如下：
（1）基于国际通用的表面肌电信号公开数据集，开展了深度学习网络研究，选取
NinaPro数据集，分别采用CNN模型和改进的多流CNN网络模型进行对比研究，实验
结果表明：基于NinaProDB1和DB2数据集，CNN网络模型的准确率分别为78.73%、
75.57%，改进的多流CNN网络模型识别精度分别为83.40%、85.64%，较CNN模型有
明显的提升。
（2）为制作手势分类算法的数据集，搭建了多传感器信号采集系统，通过采集10
位受试者的5种不同的手势动作获取原始的信号数据。通过信号采集系统获取sEMG
及IMU多传感器信号数据信息，使用滑动窗处理方式进行预处理并建立数据集。基于
自建数据集，采用多种机器学习算法，对引入IMU信号后手势识别的有效性开展研究，
实验结果表明：IMU信号的引入实现了手势识别率的显著提升。
（3）基于自建数据集，开展了面向手势识别的多种深度学习网络模型对比研究，
通过实验确定预处理参数，滑动窗口长度为300ms、滑动步长为40ms，分别设计了
CNN和LSTM网络模型研究手势识别准确率，结果分别达到了84.83%和88.62%。结
合两种网络模型，提出了组合CNN-LSTM网络模型，优化参数后，其准确率达到
93.24%，相较于单一网络在识别准确率上有着显著提升。基于提出的组合网络模型，
进一步优化其激活函数和LSTM网络的结构单元，改进后的CNN-LSTM网络模型识别
准确率达到了94.36%，相较于未改进的组合网络有着略微的提升。
关键词：表面肌电信号；惯性信号；卷积神经网络；长短时记忆网络；手势识别
哈尔滨工程大学硕士学位论文
Abstract
Inrecentyears,withthecontinuousdevelopmentofartificialintelligencetechnologyand
computerfield,gesturerecognition,asanewhuman-computerinteractionmode,hasbeen
continuouslyexpandingandgrowinginitsapplicationfieldandmarket.Theresearch
directionsinthefieldofgesturerecognitioncanbedividedintotwocategories:directionone
istodistinguishandrecognizegestureactionsmainlythroughvisualimageinformation;The
seconddirectionusessensorssuchasEMGsensorstorecognizegesturesbymodelingand
analyzingthecollectedsensorinformation.Surfaceelectromyography(sE