21三维关节点的协方差描述符-计算机应用研究.doc

基于分层运动姿态协方差的人体动作识别 王明良，孙怀江 （南京理工大学 计算机科学与工程学院，南京 210094） 摘 要：人体动作识别是计算机视觉领域一项很有挑战性的工作。近年来，随着低成本传感器的应用，基于三维人体骨架的动作识别得到广泛研究。在对两种必威体育精装版的识别方法的优缺点研究的基础上分层TP391.4 Human action recognition using a hierarchical moving pose covariance method Wang Mingliang,Sun Huaijiang (School of Computer Science Engineering, Nanjing University of Science Technology, Nanjing210094,China) Abstract: Human action recognition is a challenge task in the field of computer vision. In recent years, with the widespread use of low-cost sensors, three dimensional skeleton-based action recognition approaches has been widely researched. After researching the advantages and disadvantages of two latest action recognition methods , this paper proposed a new action descriptor obtained by computing the covariance of moving pose vector which was composed of frame vector, frame’s speed vector and accelerated speed vector. In order to get temporal information, multiple covariance matrices over sub-sequence in a hierarchical fashion were computed, and the final descriptor was obtained from those covariance matrices. The experimental results show that the proposed descriptor is effective and outperforms the state-of the-art using off-the-shelf classification approaches. Key words: human action recognition; moving pose vector; covariance; hierarchical 由于在人机交互、智能监控、机器人运动控制以及游戏开发方面有重要的应用，人体动作识别在几十年前就已成为热门研究领域。传统研究主要集中在基于RGB视频序列的动作识别，而RGB数据对于光照、视角、分辨率以及背景变化等因素高度敏感。因此，基于轨迹的方法被广泛研究以试图解决这些问题[1-3],在这些方法中人体动作由关键关节点或兴趣点集合表示，但是从RGB视频中快速可靠地提取三维关键关节点非常困难。因此，虽然过去做了很多研究工作，但动作识别仍然很有挑战。 近年来，随着微软Kinect等深度传感器的广泛使用，人们可以很方便地获得满足精度要求的深度图像。利用深度图像可以进一步实时地得到三维人体骨架信息，这极大促进了对动作识别的研究。Li 和Zhang[4]等人将深度图像映射到3个正交Shotton和Fitzgibbon[5]等人提出了从单幅深度图像提取三维关节点坐标的方法。Angela和Juergen[6]等人证明了使用三维骨架数据用于动作识别能比使用低级图像数据得到更好的性能。 由深度图像获得的三维人体骨架信息很大限度地消除了光照、视角、分辨率等因素的影响，能获得更高的识别率。一些必威体育精装版的发表在诸如CVPR、ICCV、ECCVICPR等会议上的识别方法取得了不错的效果。Hussein[7]等人根据骨架坐标信息利用层次协方差矩阵得到了一种简单有效的动作描述符。利用协方差矩阵的特性，该方法抓住了动作执行过程中关节点之间的相关性、协调性这一关键信息，使得到的描述符在识别过程中表现出很好的判别性。但是，这种方法仅考虑了每一帧内关节点之