摘要
计算机技术的不断发展改变了人类与机器交互的方式，多模态人机交互(Multi-Modal
Human-ComputerInteraction，MMHCI)技术至此也坐上了时代列车，得到了飞速发展。人机交
互方式的发展主要体现在交互理念的变化和交互设备的升级。越来越多的人机交互方式不仅
方便了人们的生活，同时也为工程设计的发展提供了新的思路。传统的CAD建模软件一直采
用“键盘+鼠标”的交互模式来表达设计意图，这种依赖双手的高频操作交互模式一直延续至
今，难以支撑当前创新设计方案的快速生成。因此，研究高效的人机交互方式驱动三维建模
引擎实现简单自由、直观自然、灵活高效、安全可靠的人机建模，为实现下一代CAD软件的
研发提供了一种新的思路。
本文首先深入研究了手势、语音、眼动、肌电人机交互技术，为实现多模态融合人机交
互三维建模软件奠定了技术基础，提出了一种基于同步采集的人机信号融合判决方法，对肌
电提供的初始建模、眼动控制的鼠标移动、手势转换坐标操作信息、语音确定具体参数的信
号指令进行融合，驱动几何建模引擎进行建模；其次，深入研究了开源的OpenCASCADE三
维几何建模库，设计并开发了多模态融合人机交互三维建模软件，实现了手势、语音、眼动
等多模态人机交互建模，软件涵盖了传统CAD的图形构建、布尔操作、视图切换、特征操作
等基本功能；最后，通过对典型装备的多模态人机交互建模，验证了设计与开发软件的可行
性和有效性。
通过对本文提出的多模态融合人机交互技术与建模软件，创新了未来工业软件人机交互
方式，摆脱了传统“键盘+鼠标”的束缚，提出了人机建模的新手段，具有重要的参考价值和
实际意义。
关键词：CAD，OpenCASCADE，多模态，人机交互，几何引擎
Abstract
ThecontinuousdevelopmentofcomputertechnologyhaschangedthewayofHumanand
machineinteraction,andtheMulti-Modalhuman-computerinteraction(MMHCI)technologyhasalso
takenthetrainofTheTimesandachievedrapiddevelopment.Thedevelopmentofman-machine
interactionismainlyreflectedinthechangeofinteractionconceptandtheupgradeofinteractive
equipment.Moreandmorehuman-computerinteractionnotonlyfacilitatespeopleslife,butalso
providesnewideasforthedevelopmentofengineeringdesign.TraditionalCADmodelingsoftware
hasalwaysadoptedtheinteractivemodeofkeyboard+mousetoexpressthedesignintention.This
interactivemoderelyingonthehigh-frequencyoperationofhandshasbeencontinueduptonow,
whichisdifficulttosupporttherapidgenerationofcurrentinnovativedesignschemes.Therefore,the
studyofefficienthuman-computerinteractiondriving3Dmodelingenginetoachievesimple,free,
intuitive,natural,flexible,efficient,safeandreliableman-machinemodelingprovidesanewideafor
therealizationo