基于三维深度信息的人体动作运动轨迹识别V.分解.docx

基于三维深度数据的人肢体动作运动轨迹识别Recognition of Human Body Action Movement Trajectory Based on the Three-dimensional DepthData摘要：本文研究了传统人的肢体动作运动轨迹的识别技术，总结了传统识别技术的缺点，然后在此基础上将人的肢体动作的三维深度数据和三维环境下的运动历史图像（3DMHI）相结合，计算出运动历史图像的不变矩作为肢体动作的特征向量，应用于人的肢体动作运动轨迹的识别问题上来。文中详细阐述了基于三维深度数据的人的肢体运动轨迹识别技术的算法理论和实现方案，最后通过对比识别实验结果，验证了基于三维深度数据的人的肢体运动轨迹识别方法具有更好的鲁棒性和更好的准确性。关键词：机器视觉识别；人的肢体动作识别；三维运动历史图像1 引言随着机器人技术的迅猛发展，机器人视觉跟踪技术和自然人机交互技术也开始成为了机器人技术研究领域的重要研究方向。而人的肢体动作是一种自然且直观的人际交流模式，人的肢体动作运动轨迹的识别也理所当然地成为了实现新一代自然的人机交互界面中的不可缺少的一项关键技术，特别是针对一些残障人士，只需要通过人的肢体动作就能给轮椅和残障辅助设备下达指令，更显的尤为便利。之前针对人肢体动作运动轨迹识别的人机交互研究主要侧重于人体皮肤颜色建模，连续动态动作的基于图像属性的鲁棒性特征的提取，然而由于人肢体动作本身具有的多样性、多义性、以及时间和空间上的差异性等特点，因此传统的动作运动轨迹识别研究都有很大的局限性。本文就尝试将人体的三维深度数据引入到人的肢体运动轨迹的识别上面来，开创性的将传统方法拓展到三维空间，这样将减小环境光照、衣物遮挡和人体肤色与背景色的影响，使得计算机对人的肢体运动轨迹的识别更准确和更好的鲁棒性。2 问题描述人的肢体运动轨迹识别问题，即是将传感器实时捕获的人的肢体真实运动轨迹与预先定义好的样本轨迹相匹配的问题。传统方法是应用隐马尔科夫模型来进行真实运动轨迹与模板运动轨迹的匹配。图1.人的肢体动作二维图像基于二维图像的隐马尔科夫模型，如图1所示，通过隐马尔科夫模型进行样本轨迹的匹配，过程如图2所示。但是基于二维的识别有如下的几个难点：(1)光照：当光照发生变化时，人体的亮度信息会发生变化，传感器捕获的图像容易受到自然光和人工灯光的影响。(2)遮挡：由于在识别过程中，肢体运动轨迹可能会被静止的背景区域或者是眼镜、帽子等物体所遮挡，遮挡会产生识别信息的丢失，给识别的可靠性带来了很大的影响。(3)背景：在实际识别过程中，如果人体运动区域与背景区域的颜色、纹理或者形状相似，也会增大识别的难度。图2.基于二维图像的隐马尔科夫模型基于三维深度数据的隐马尔科夫模型，因为引入了三维深度数据，虽然可以有效地去除背景光源照度的影响，和不同目标人员肤色基准值的影响，识别过程不被光照、遮挡和背景等环境因素所影响，但是计算量大，训练效率低下，容易陷入局部最优值等问题，一直制约其在实时监控领域的应用。为了解决这些问题，这里我们将动作历史图像（MHI, Motion History Images）和人的肢体三维深度数据相结合，得到描述人的肢体动作的能量图像MEI，如图3所示，计算运动历史图像MHI的七个不变矩作为肢体动作特征向量，最后建立起肢体动作模板集合，也就是计算出这些肢体动作特征向量集的均值向量和协方差矩阵，识别阶段，通过Mahalanobis距离来衡量新输入的肢体动作与已知的肢体动作模板之间的相似性，只要计算出的Mahalanobis距离在规定的阈值范围之内都可以认为动作识别成功。这样既排除了光照、遮挡和背景等环境因素的影响，又很大程度上提高了识别过程的实时性和准确性。图3.基于三维深度数据的运动能量图像3问题求解Problem solving3.1肢体动作的三维运动历史图像表征Body movements characterized by three-dimensional motion history image本文应用将传统的基于二维图像的动作历史图像进行改进，使之与三维深度数据相结合，达到共同表征三维肢体动作信息的目的。In this paper, to characterize the 3D motion information ,application of traditional motion history image based on two-dimensional image is improved to combinethe three-dimensional depth data.运动历史图像作为时间差分法的一个分支，时间差分法是将连续的图像序列中比较两个或者三个相邻帧对应像素点发生的相对变化，得到差分图像进而阈