动作识别的调研.docx

1.动作识别要解决的主要问题通过计算机对传感器(摄像机)采集的原始图像或图像序列数据进行处理和分析，学习并理解其中人的动作和行为。2.动作识别的步骤包含以下3个步骤：①从图像帧中检测运动信息并提取底层特征；②对行为模式或是动作进行建模；③建立底层视觉特征与动作行为类别等高层语义信息之间的对应关系。3.动作识别大体上的处理方法大体可分为3类：①非参数方法：通常从视频的每一帧中提取某些特征，然后用这些特征与预先存储的模板(template)进行匹配；②立方体分析方法：不是基于帧的处理，而是将整段视频数据看作是一个3维的时空立方体进行分析；③参数化时间序列分析的方法：对运动的动态过程给出一个特定的模型，并通过对训练样本数据的学习获得每一类动作特定的模型参数，其中比较常用的模型包括：隐马尔可夫模型(HiddenMarkovModels，HMMS)、线性动态系统(LinearDynamicalSystems，LDSs)等。4.动作识别的特征(1)静态特征人体目标的尺寸、颜色、边缘、轮廓、形状和深度。例如：人体轮廓(Contour)可以表示当前人体目标的基本形状。(2)动态特征光流，速度，速率，方向，轨迹。轨迹刻画了目标在空间中的移动路径。有了轨迹后，目标的运动速度和方向等特征可以很方便地计算出。轨迹特征在物体检测、跟踪或是识别效果不理想的情况下极易出错，尤其是在复杂的场景下。鉴于此，一些研究者开始使用光流特征。光流特征的准确获取本身是一个很棘手的问题，即便是目前最好的光流计算算法，也存在着噪声，同时计算复杂度高，因此研究者开始尝试对特征点进行跟踪。(3)时空特征时空形状，时空兴趣点，时空上下文。这类特征将一段视频作为一个(x,y,t)3维空间中的时空体来分析和处理，即视频图像在时间轴上的级联，然后提取3维数据模式，如时空形状、时空立方体、时空兴趣点等，用于动作的描述。时空特征具有如下优点：①通过对立方体的分析，可以获得较长时间的动态特性；②联合考虑空间和时间的连续性，特征匹配的复杂度大大降低；③对遮挡等事件的处理更加鲁棒有效。1时空模板：运动能量图，运动历史图；动作原型和视频片段之间的共生矩阵；3维形状描述子作为动作模板；时空体内时空特征的分布模式；2局部时空兴趣点：基于时空模板的方法依赖于预处理(人体轮廓或是剪影的提取)或是模式自动有哪些信誉好的足球投注网站和匹配的精度与速度，有效性受限制。有研究者在整段视频中寻找局部时空特征来表征动作。将2维图像上的Harris角点扩展到3维空间上。在2维图像上，Harris角点是在两个方向上都有很大变化的点。通过对Harris角点增加时间约束，检测在时空上都变化剧烈的点，得到3维Harris角点，达到在时空维度中检测局部结构的目的。3时空上下文：基于局部时空兴趣点的方法没有很好利用局部特征之间的空间几何关系。对局部特征之间的空间几何关系进行建模，进一步提高特征的描述能力。比如：首先利用3维Harris角点检测器来得到局部特征；然后对每个局部特征的空间和时间邻域进行多尺度网格划分，并统计网格中的局部特征分布；最后多个网格的分布相连得到最后的特征。(4)描述性特征属性，场景，物体，姿态。基于静态特征、动态特征和时空特征等底层视觉特征的动作识别方法取得不错效果，但这些方法仅通过底层特征直接得到动作的类别，动作视频中丰富的语义信息并没得到充分利用。研究者提出利用中层的描述性特征来进行动作识别。比如：动作属性空间，每个动作表示成属性空间中的一个点；从数据中自动学习具有判别力的属性，人工定义属性集和数据中学习得到的属性集综合起来进行动作学习；对这些描述性特征（包括原子动作、物体和姿态）之间的共生统计进行建模，并把共生关系称为“动作基”。一个动作表示成这些“动作基”的子集的加权组合。5.特征提取的方法特征提取方法主要分为3类：①基于底层跟踪或姿态估计的方法：提取的特征主要是静态特征和基于运动信息的动态特征，因此提取特征的有效性依赖于目标跟踪和人体姿态估计的准确性。真实的场景中，背景杂乱运动目标较多，进行准确的目标跟踪和人体姿态估计具有极大的挑战性，导致这类特征的鲁棒性不是很好；②)基于图像处理技术直接从图像中提取特征的方法：提取的一般是基于光流的动态特征和时空特征，这类方法提取的一般是对图像或是时空立方体局部运动的描述，因而计算量比较大，易受噪声的干扰，且缺乏对动作行为模式整体性的考虑和全局性的分析；③基于学习方法得到的属性描述：提取的一般是物体、姿态和场景等中层语义特征，这类特征可能对特定场景下的动作识别极为有效，但因为涉及到人为定义的“动作属性空间”，在真实自然场景下，存在着属性空间不完备或是不准确而导致动作识别性能下降的风险。6.动作识别特征的比较7.动作识别的方法常见的动作识别方法分为3类：基于模板的方法、概率统计的方法、基