多模态融合人机交互三维几何建模软件设计与开发.pdf

摘要

计算机技术的不断发展改变了人类与机器交互的方式，多模态人机交互(Multi-Modal

Human-ComputerInteraction，MMHCI)技术至此也坐上了时代列车，得到了飞速发展。人机交

互方式的发展主要体现在交互理念的变化和交互设备的升级。越来越多的人机交互方式不仅

方便了人们的生活，同时也为工程设计的发展提供了新的思路。传统的CAD建模软件一直采

用“键盘+鼠标”的交互模式来表达设计意图，这种依赖双手的高频操作交互模式一直延续至

今，难以支撑当前创新设计方案的快速生成。因此，研究高效的人机交互方式驱动三维建模

引擎实现简单自由、直观自然、灵活高效、安全可靠的人机建模，为实现下一代CAD软件的

研发提供了一种新的思路。

本文首先深入研究了手势、语音、眼动、肌电人机交互技术，为实现多模态融合人机交

互三维建模软件奠定了技术基础，提出了一种基于同步采集的人机信号融合判决方法，对肌

电提供的初始建模、眼动控制的鼠标移动、手势转换坐标操作信息、语音确定具体参数的信

号指令进行融合，驱动几何建模引擎进行建模；其次，深入研究了开源的OpenCASCADE三

维几何建模库，设计并开发了多模态融合人机交互三维建模软件，实现了手势、语音、眼动

等多模态人机交互建模，软件涵盖了传统CAD的图形构建、布尔操作、视图切换、特征操作

等基本功能；最后，通过对典型装备的多模态人机交互建模，验证了设计与开发软件的可行

性和有效性。

通过对本文提出的多模态融合人机交互技术与建模软件，创新了未来工业软件人机交互

方式，摆脱了传统“键盘+鼠标”的束缚，提出了人机建模的新手段，具有重要的参考价值和

实际意义。

关键词：CAD，OpenCASCADE，多模态，人机交互，几何引擎

Abstract

ThecontinuousdevelopmentofcomputertechnologyhaschangedthewayofHumanand

machineinteraction,andtheMulti-Modalhuman-computerinteraction(MMHCI)technologyhasalso

takenthetrainofTheTimesandachievedrapiddevelopment.Thedevelopmentofman-machine

interactionismainlyreflectedinthechangeofinteractionconceptandtheupgradeofinteractive

equipment.Moreandmorehuman-computerinteractionnotonlyfacilitatespeopleslife,butalso

providesnewideasforthedevelopmentofengineeringdesign.TraditionalCADmodelingsoftware

hasalwaysadoptedtheinteractivemodeofkeyboard+mousetoexpressthedesignintention.This

interactivemoderelyingonthehigh-frequencyoperationofhandshasbeencontinueduptonow,

whichisdifficulttosupporttherapidgenerationofcurrentinnovativedesignschemes.Therefore,the

studyofefficienthuman-computerinteractiondriving3Dmodelingenginetoachievesimple,free,

intuitive,natural,flexible,efficient,safeandreliableman-machinemodelingprovidesanewideafor

therealizationo