多模态膝关节腔镜微创手术虚拟仿真实训系统的构建.docx

多模态膝关节腔镜微创手术虚拟仿真实训系统的构建

摘要：目的：研究精准建模和碰撞检测与力反馈技术构建多模态膝关节腔镜微创手术虚拟仿真实训系统的构建，满足医学人员实训训练。方法：以目前国内外相关研究的局限性为出发点，在符合工程实践的假定条件下，进行VR、PC、WEB三端架构研究，并以关键技术3D打印膝关节模型与数字模型高精度匹配，让骨骼模型起伏和纹理细节最大程度还原，在碰撞物体中增加标签的方式及模糊算法有效解决物体穿面，增强力反馈，通过力反馈和电磁技术在精确实时定位方法的深入研究，可对关节视觉形态和物理属性的精准模拟。结果：多模态膝关节腔镜微创手术虚拟仿真实训系统性能优良，仿真度高，能够满足实训要求，达到设计目标。结论：系统为医学手术演练实训起到了重要的作用，提供了良好的平台，这种构建模式和技术拓展虚拟仿真系统的应用范围和受益人群，同时也为我国医学教育技术创新与进步起到了抛砖引玉的作用。

人类膝关节受到不同原因的影响会引起膝关节病变，目前最有效治疗膝关节疾病的方法就是微创外科关节镜手术，膝关节腔镜微创手术的需求很大，此类医生的培养时间和培养规模都受到很大局限。因此，大规模培养具有理论与技能于一身的高水平专业医生非常迫切。

近年来，膝关节虚拟仿真训练平台应用非常广泛，中国人民解放军总医院与国防科技大学开始手术仿真训练系统研究，也有虚实结合通过操纵键盘和鼠标控制手术器械进行膝关节镜手术中的半月板修复手术学习和模拟训练。在基于网络和虚拟现实的虚拟仿真医学研究中，Davis、MatthewChristopher等创建了增强现实VIPAR平台，允许外科医生通过无线网络查看3D合成影像，提供术中实时远程虚拟协作［9］等。

通过信息技术的发展，基于VR、PC、WEB的架构，均有各自优势和特点，但单一输出方式不能符合当代人群的获取知识方式，达不到多模式训练的效果，网络传输速率已经不是束缚多模态大规模输出的阻碍，国内外膝关节仿真系统的应用模态能够实现B/S应用架构，但是应用方式以PC机为主，终端单一受限。在使用过程中，应用数据需要下载到本地，并且要用高端计算机环境来支持渲染计算，其他终端无法承载，达不到数字化泛在学习的要求。另外，许多系统只适合一对一训练，且实时交互效果差，卡顿情况严重，基于一种引擎的开发导致程序无法复用，这些弊端日趋突显。因此，在数字化的今天，支持多模态应用在在校教育、手术实训和终身学习等方面非常重要。

本研究提出多模态构建膝关节腔镜微创手术虚拟仿真实训系统，将交互数据视频流作为服务器向终端呈现的创新计算的方案，再根据GPU并行加速的特性，提升网络服务器部署中的资源优化性能和加速效率的算法和策略，优化硬件体系结构设计，通过改进资源调度策略，摆脱系统运行时对高端PC平台支持的依赖，同步架构VR版、WEB版模式，进而将3D打印技术与数字模型进行高精度匹配，再以碰撞检测技术与器械传感器获取标签数据进行模糊算法，较好地解决碰撞穿面的问题，减少影响和碰撞错误率，实现较好的效果，最终搭建基于网络的多模态膝关节虚拟仿真教学实训平台。实验表明该模式优于单一训练方式，有效解决平台单一、多人训练、价格昂贵等问题，真正用于国内医学生教育与医生的培训，填补社会对医生巨大需求的缺口，拓展虚拟仿真系统的应用范围和受益人群。

1方法

1.1系统总体结构设计

本研究通过UE4、C++编写程序三层架构兼顾视觉渲染、触觉反馈、触觉硬件、5G云开发的需求，研发膝关节腔镜微创手术虚拟仿真实训5G云在线系统。系统结构设计基础模块、实操模块、展示模块、模型库/知识库模块、虚拟规范化培训场景5个部分，其中基础模块主要包括集合建模、物理建模、碰撞检测、形变计算、力反馈计算等单元；实操模块主要包括模型（骨科）、手术器械等单元；展示模块主要包括三维重建、可视化、声音系统等单元，向受训者提供一个直观逼真的操作视野，提供一个“所见即所得”的操作环境；模型库/知识库模块提供模型资源和知识帮助；虚拟规范化培训场景模块提供一个操作界面和平台，包括开机登录界面、用户注册、培训（包括用户登录信息、病例信息、CT等影像资料、互动式操作，具备信息提示、操作过程录制、评价等功能）、管理等功能，提供单机版和网络版等多种输出模态。

1.2VR、PC、web输出模态融合搭建

基于Wi-Fi6和万兆交换机的高速局域网传输环境和5G的互联网传输环境，将膝关节虚拟仿真系统中VR程序部署到局域网的服务器上，多终端供多用户同时使用，突破基于VR技术的教育平台实时培训人数和时空限制；通过基于5G云的线上可视化和实时交互的Web版实现，构建Web交互服务器程序，其功能是将仿真程序部署在5G网络环境下的云服务器上，优化终端功能，提供网络连接、视频解码和人机交互，摆脱需要高端PC平台支持的依赖，用户通过HTML5浏览