人体行为识别介绍.ppt

人体行为识别 行为识别的主要目标是在输入的包含一个或者多个行为的视频中，正确的分析出各种行为。对行为的分析可以从人体本身的特征和所完成动作的特征来进行。 输入视频数据 图像预处理 运动目标检测 特征提取 分类器 输出识别结果 特征向量 样本类别 学习 图像预处理 图像预处理有二层含义。 一是对视频数据的分帧处理，也就是把视频数据转化为连续的图像序列； 二是对图像序列的处理，即对原始图像进行处理使后续工作的进行更加顺利。 主要步骤： 灰度及二值化 形态学处理方法 滤波去噪 预处理 灰度及二值化 灰度图像是指不包含色彩信息只表示亮度信息的图像，就像我们原来拍的黑白照片。灰度变换原则上是无法得到与原来彩色图像完全一样的灰度图像的，但可以经过一定的处理手段得到最接近的理想图像，普遍用到的处理方法是一个著名的心理学公式，它是在RGB颜色空间中给出的 二值图像就是只包含黑和白两种颜色的灰度图。对灰度图像进行二值化处理，主要是突出感兴趣的目标的轮廓。二值化处理就是选择一个恰当的阀值将灰度图像上每一点的亮度变成黑色或白色(0或255)，用黑色表示背景像素，用白色表示前景像素。 预处理 形态学处理方法 通常我们得到的灰度图像或二值图像背景上会存在一些细微的孤立点状物，前景人物目标内部可能会存在一些不连续的孔洞，目标轮廓也可能会有我们不想要的小的毛刺，这时我们可以利用形态学方法来处理此类问题。 常用的形态学处理运算包括4种：分别为膨胀(Dilation)、腐蚀(Erosion)、开启(Opening)和闭合(Closing)。 预处理 形态学处理方法 预处理 滤波去噪 图像滤波技术是一种用来消除图像中存在噪声的图像增强手段。常用的滤波方法： 均值滤波 实际上就是求一个邻域的平均值，它是通过图像中一点和以它为中心的周围几个点进行运算(一般计算平均值)来除去那些突然变化的噪声点，也就是用平均值来代替原图像中的各个像素。 中值滤波 原理类似于均值滤波法，但计算时不用求和再平均的方法，而是把该点某邻域窗口内的所有像素点按灰度值大小排序，然后选择位置在中间的灰度值作为邻域中心位置像素的灰度值，如果窗口中元素个数为奇数，那么中间值就是排序后最中间的那个值，若窗口中元素的个数为偶数则把位于序列中间位置的两个灰度值加和求平均值 目标检测 目标检测是要从视频图像序列中把人体目标提取出来，在保证前景人物完整的前提下，实现目标人物与背景的分离。 根据运动环境的不同运动目标检测技术一般分为两类： 背景减除法 静态背景下的运动目标检测 时间差分法 动态背景下的运动目标检测 光流法 背景减除法 背景减除法是把视频图像序列中的当前帧和预先保存的背景图像做减法运算，用得到的差分图像来检测运动目标，所以事先要把不含前景目标人物的背景图像保 存成背景模型以备后用。 根据实验经验我们可以设定一个阈值，只要在得到的差分图像中像素值不大于这个阈值的就归为背景像素，反之，就属于前景目标。 背景减除法 下图为挥手图像序列中第一帧图像，这一帧图像直接与背景按上式做减法运算，就可以得到前景人体的轮廓图。 时间差分法 基本原理是在一串连续的图像序列中选取时间连续的两到三倾图像作基于像素的时间差分处理，并且二值化及后处理來提取图像中的运动目标 通常情况是用连续相邻的两帧来做计算 时间差分法 T为设定好的阈值 时间差分法 特征选择和提取 人体行为识别技术的关键性问题就是从图像中提取出有效的运动特征。 如果某些特征是经过某种转换(线性转换或者非线性转换)而在低维的空间中形成新的特征，那么这些新的特征就属于二次特征（二次特征的数目会比原来的特征要少，并且更利于分类） 通过这种转换形式把原始的特征转换成新特征的过程就称之为特征提取。 基于运动累积图的特征提取 运动累积(Accumulated Motion Image, AMI)特征，就是把运动图像累积起来放在一起，直观的反映出运动行为中发生变化的区域。 基于灰度图像的运动累积图AMI特征具体计算公式 基于运动累积图的特征提取 其他特征提取的方法 基于 Hu 矩的行为特征提取 基于流体力学的