基干Kinect若干典型动作识别探究.docVIP

基于Kinect的若干典型动作识别的研究 　　摘要：为了能够在智能化识别动作的过程中提高识别的效率和准确率，避免在以整体特征为基础研究受到衣着等因素的影响，本文根据Kinect的骨骼跟踪功能，建立人体关节点融合的简化骨架模型。提出关于角度和重心的判别模型，借助matlab达到自动识别功能 关键词：自动识别，层次分析法，Kinect，角度，骨架模型 1 引言 人体行为动作及姿态的识别目前仍处于初级阶段。人体结构的复杂性以及运动的复杂性，加之客观环境的多样性，使得人们对于动作特征、肢体关键信息的提取变得愈加困难。目前人体动作识别的方法大都集中在动作特征的提取与识别上，这类方法大都通过建立人体姿态的轮廓特征图像、从而对特征图像进行分析与识别，常用的有静态轮廓图像、步态能量图像（GEI）、主动能量图（AEI）、帧差能量图（FDEI）。这些特征图像可以很好的表达人体动作姿态的整体特征，但往往计算量较大，效率不高。在获得轮廓图或能量图时易受衣着、背包等的影响，识别的准确率会降低。本文提出建立基于人体关键关节点的棒状模型，利用人体的肢体角度和重心因素，建立判别函数，通过判别值的匹配达到识别的目的。其优势在于不受人体总体特征的限制，直接研究与人体运动有关的肢体幅度的变化，不需要复杂的运算，识别率较高 2 基于Kinect的人体简化模型的建立 是一款3D体感摄影机，同时导入了即时动态捕捉、影像辨识、麦克风输入、语音辨识等功能。它拥有3个摄像头，分别是红外线发射器、RGB摄像头、红外线接收器。可以接收彩色图像数据流、深度图像数据流和音频数据流三种数据流[1] Kinect能够在深度图像的基础上实现人体骨骼的追踪。在Kinect的骨骼追踪中，通过实时捕捉一共可以准确获得20个人体骨骼关节点的三维坐标信息。连接关节点，可以形成“火柴人”。本文建立人体模型时正是在Kinect的骨骼图像基础上，将20个关节点进行融合、相连，形成简化的人体棒状模型 2.1 简化的棒状人体模型建立 由文献[2]可知，20个关节点可以按对动作影响程度不同分为3个层次，分别为身体躯干关节点、四肢关节点、以及手与脚 针对研究的行走、奔跑、蹲下起立、跳跃四个典型动作，我们各做了96组实验，第一层关节点中，有96%组实验证明左肩、右肩、左臀、右臀、脊柱相对于人体躯干的位置固定不变，对角度的形成没影响；第二层关节点中，有94%组实验证明左腕、右腕虽然对角度的形成有较大的影响，但对动作分类无影响；第三层关节点中，左手、右手、左脚、右脚对我们研究的动作提供的信息太少，只能在手势识别中进行详细研究 基于上述原因，我们将左、右手和腕融合为一点；左、右肩和肩膀中央融合为一点；左、右臀和臀部中央融合为一点；左、右脚和踝关节融合为一点。将20个骨骼关节点精简为11个关键的骨骼关节点，分别为头、肩膀中央、左肘、右肘、左腕、右腕、臀部中央、左膝、右膝、左踝、右踝，形成了人体的头、躯干、上臂、前臂、大腿和小腿的部分，如图1所示： 在该模型中，我们定义臀部中心为空间坐标的原点中心，原点到头部的方向为Y轴的方向，Kinect的红外摄像头与臀部中心连线并指向臀部中心的方向为Z轴的正向，垂直于YOZ平面的方向为X轴的方向 2.2 肢体角度参数的建立 实验过程中，人的运动方向是Kinect的红外摄像方向始终呈90度，在定义角度之前，我们做出如下说明： 1）以人运动的方向为正方向，肢体的摆动方向与正方向一致，定义为前，摆向与正方向相反，定义为后； 2）实验时四种动作的姿势如上图2所示 我们定义了7个角度参数，前臂与身体躯干的角度，后臂与躯干的角度，前后腿之间的角度，前臂肘关节处角度，后臂肘关节处角度，前腿膝关节处角度，后腿的膝关节处角度 2.3 重心参数的建立 与传统的基于图像像素的质心求法不同的是，本文利用臀部中心的离地高度与头部离地的高度的数值比作为重心的参数。在识别过程中，人与Kinect之间的距离会发生，若以臀部中心作为人体重心，则该重心的高度（y坐标值）会随之变化。而以比值作为重心参数，则因各点高度同比例变化，重心参数不随与Kinect距离变化。因此该比值可以很好的代替重心，如图3所示 2.4 参数在Kinect中的获取 2.4.1 定义关节点和骨骼向量 在Kinect中，通过定义骨骼向量来计算肢体的空间角度。如图所示： 对人体简化模型的骨骼定义向量，第一层关节点（b1，b2，b3）组成的骨骼定义为向量{α1，α2}，第二层关节点（b4，b5，b6，b7）组成的骨骼定义为向量{α3，α4，α5，α6}，第三层关节点（b8，b9，b10，b11）组成的骨骼定义为向量{α7，α8，α9，α10}