基于混合现实的机械手的识别和交互研究.pdfVIP

摘要

摘要

工业机械手具有灵活性和精度高等特点，被广泛应用于制造业，运用混合现

实技术对机械手进行监控和交互存在一些局限性，现如今对机械手的检测工作多

依赖于人工，存在着检测精度低、浪费人力成本和检测不及时等问题。为提升机

械手识别的精确度和交互的实时性，本文基于深度学习算法，以IRB2400型号

的机械手为对象展开研究，最终建立了一种基于混合现实的机械手识别监控和交

互系统，主要研究内容包括：

（1）目标识别算法分析与优化。采用基于深度学习方法的卷积神经网络模

型研究了机械手识别，在卷积神经网络中，利用了YOLOv5的目标识别算法识

别并跟踪机械手，优化改进了网络结构和损失函数，具体过程包括将轻量级网络

结构MobileNet作为YOLOv5算法中的主干结构，同时采用GSconv替换了

YOLOv5算法中的neck结构，最终在提高识别精度的同时提升了计算速度，还

实现了计算量的降低，使得机械手识别更精确。

（2）基于机械手数据集模型，分析了机械手在不同场景及不同姿态对识别

精度和交互性的影响，根据机械手的运行模式确立误差补偿，最后基于机械手的

动作解析与通讯连接，完成了对机械手的交互控制研究。实验中，通过Unity3D

模型仿真与建模、PLC数据传输、Visualstudio手势和语音交互方式技术融合开

发，实现了与机械手的人机交互，提升了实时性、精度以及仿真与实机拟合程度。

3

（）构建并实现了一个基于混合现实的机械手的监控和交互式原型系统。

根据机械手的实际需求，分析了总体框架和功能模型设计，通过基于Python的

图形界面进行开发，最终集合模型文件和程序指令，通过预加载模型和场景，将

机械手的动态信息实时呈现在HoloLens设备的可视化页面上，进一步确立了系

统的可行性。实验表明，机械手识别精度提升了6.5%，识别速度提升了2.8%，

机械手模型参数量减少了44%，说明该系统具备可行性。

本文所提出的方法能够实现机械手的精确识别，且在识别精度，识别速度等

方面都存在改进。本论文的研究为复杂环境下的机械手的识别和交互提供了一套

有效的解决方案，具有一定的实际应用和理论价值。

关键词：混合现实，机械手，目标识别，人机交互

I

盐城工学院硕士学位论文

Abstract

Abstract

Industrialmanipulatorhasthecharacteristicsofflexibilityandhighprecision,is

widelyusedinthemanufacturingindustry,theuseofmixedrealitytechnologyto

monitorandinteractwiththemanipulatorstillhassomelimitations,nowthedetection

workofthemanipulatordependsonmanualwork,thereareproblemssuchaslow

detectionaccuracy,wasteoflaborcostanduntimelydetection.Inviewofthis,in

ordertoimprovetheaccuracyofmanipulatorrecognitionandthereal-timenatureof

interaction,thispaperisbasedondeeplearningalgorithms,andIRB2400modelsof

manipulatorsareusedastheobjecttocarryoutresearch,andfinallyamanipulator

recognitionmonitoringandinteractionsyst