摘要
中国一直很重视文艺事业的发展和对非物质文化遗产的保护,而舞蹈是其中
一个十分重要的组成成分。对舞蹈动作进行分析,有利于对现有舞蹈动作的优化和
改进,以及对传统舞蹈动作的理解和传承。随着线上教学的兴起,智能的舞蹈动作
识别和分析更有利于舞蹈教学的开展。但是目前对该领域的研究仍然十分稀少,作
为开展这些工作的基础,对舞蹈动作的识别就显得十分迫切,基于深度学习的舞蹈
动作识别研究具有十分重要的现实意义。本文以舞蹈动作识别为课题,研究了以下
内容:
1)实现基于关节点位移量以及基于聚类的两种动作序列分割方法。舞蹈动作
复杂多样,一段舞蹈视频通常包含多种舞蹈动作,而现有的动作识别方法一般仅对
单一动作进行识别,在进行动作识别之前需要对视频进行分割。针对这一情况,本
文实现基于关节点位移量和基于聚类的两种动作序列分割方法,比较全面地覆盖
了舞蹈动作分割的应用场景,并取得了较好的分割效果。
2)实现一种基于自适应和注意力机制的时空图卷积网络。本文选取时空图卷
积网络作为动作识别的基准网络,并针对网络中图拓扑结构固定,建模不灵活的问
题,加入自适应模块,使得骨架拓扑图可以随着训练进行优化。同时在网络中引入
注意力模块,在训练时可以对关键信息给予更多关注,进一步提升模型识别性能。
实验结果证明本文的网络模型具有较高的识别准确率。
3)结合迁移学习与改进的时空图卷积网络,实现了舞蹈动作识别。本文自制
了一个芭蕾舞舞蹈数据集,通过结合迁移学习,弥补了自制数据集规模较小的缺点,
使得本文的动作识别方法在自制舞蹈数据集上也可以取得较高的识别准确率。最
后结合动作分割的内容,设计实现了一个舞蹈动作识别的桌面应用,使用户可以方
便地实现舞蹈动作分割与识别的一系列流程。
关键词:动作分割,舞蹈动作识别,自适应,注意力机制,迁移学习
ABSTRACT
Chinahasalwaysattachedgreatimportancetothedevelopmentofliteratureandart,
aswellastheprotectionofintangibleculturalheritage,anddanceisaveryimportant
componentofthem.Analysisofdanceactionsisconducivetotheimprovementof
existingdancesandtheunderstandingoftraditionaldances.Withtheriseofonline
teaching,intelligentdanceactionrecognitionandanalysisareconducivetothe
developmentofteaching.Buttheresearchinthisfieldisstillveryrare.Asthebasisfor
carryingouttheseworks,therecognitionofdanceactionsisveryurgent.Thisthesistakes
danceactionrecognitionasthesubject,andstudiesthefollowingcontents:
1)Twoactionsequencesegmentationmethodsbasedonjointpointdisplacement
andclusteringareimplemented.Danceactionsarecomplexanddiverse.Adancevideo
usuallycontainsmultipledanceactions,whiletheexistingactionrecognitionmethods
generallyonlyrecognizeasingleaction,andthevideoneedstobesegmentedbefor