基本信息

---

下载

文档摘要

---

基于多模态数据驱动共语手势生成的研究

摘要

人们通过语言与手势的结合来传达意图，这种伴随着语言的手势动作叫做共语手势。

合成共语手势是具身化交互的核心技术，通过跨模态语义理解与动态运动建模，可以显著

提升虚拟角色与社交机器人的拟真度和情感表达能力。近年来，基于深度学习的方法在共

语手势生成方面取得了一定进展，但仍存在不少问题。目前的研究尚未充分挖掘音频数据

中的关键信息，采用对抗生成网络合成共语手势时，还面临模式崩溃（ModeCollapse）和

训练不稳定的问题，并且多