人脸跟踪经典案例.ppt

人脸检测和跟踪的仿真实现 数字视频技术 Ｃｏｎｔｅｎｔ 1 2 3 4 介绍 基于HAAR分类器的人脸检测 CamShift跟踪算法 实验结果 人脸检测和跟踪 概念简介 人脸跟踪是在视频或图像序列中确定某个人脸的运动轨迹及大小变化的过程，它是进行动态人脸信息处理的第一个环节，在视频会议、可视电话、视频监控、人机智能交互等方面都有着重要的应用价值。由于人脸本身属于复杂多变的非刚体模式，在运动过程中，其大小、形状都会发生变化，因此实现实时而可靠的人脸跟踪方法具有一定挑战性。 背景噪声，目标外观变化、运动，实时性，鲁棒性 人脸检测和跟踪 概念简介 特征：描述目标，颜色、纹理,Haar ,HOG，DPM 特征学习：分类器，boosting，决策树，SVM，神经网络 检测：利用关于目标的知识检测和识别特定类型目标 跟踪：单目标，多目标。给定初始位置的条件下在视频序列中找到目标位置 人脸跟踪的应用 虚拟角色脸部捕捉游戏： 用户只需要坐在摄像头面前，FaceRig就能将你化身成一位虚拟角色，用户能够从多位不同的角色中选择自己的形象，包括毛茸茸的浣熊，恶魔领主，动漫萌妹和星际指挥官等等。FaceRig还支持用户切换背景环境以及改变自己的声音 FaceRig HAAR特征 人脸检测 Haar分类器 = Haar-like特征 + 积分图方法 + AdaBoost + 级联 类Haar特征分为三类：边缘特征、线性特征、中心特征和对角特征，组合成一组特征蒙板。在特征模版中，定义有白色和黑色的两种矩形，该模版的特征值定义为白色矩形区域像素和与黑色矩形区域像素和的差。 人脸检测 最初的弱分类器可能只是一个最基本的Haar-like特征，计算输入图像的Haar-like特征值，和最初的弱分类器的特征值比较，以此来判断输入图像是不是人脸，然而这个弱分类器太简陋了，可能并不比随机判断的效果好。 Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的弱分类器，然后把这些弱分类器集合起来，构成一个更强的强分类器。 Adaboost算法 重点是选取合适的描述 特征和训练样本 人脸检测 适应性较强，接近100%的识别率，与人脸结构特征接近的都会被识别为人脸 CamShift 1.初始化：将输入图像变换到HSV空间，计算基于HS分量的颜色直方图 2.跟踪：将新图像变换到HSV空间，计算目标直方图的反向投影，相当于关于目标位置的概率分布图 3.迭代：通过迭代的方式不断收敛到目标概率最大位置，即为跟踪结果 MeanShift CamShift MeanShift算法的改进，在该算法基础上增加了对尺度的适应性 算法说明 算法设计 人脸跟踪的算法实现 在Visual Studio 2010 下基于openCV2.4.8 ，C++编程实现。 目标时通过电脑摄像头获取实时图像，实现自动的人脸及面部器官的检测和跟踪。 资源 Visual C++编译环境； Opencv提供基础的图像处理函数； MeanShift算法； 对人脸正面和眼睛训练的Haar分类器。 封装 CVideoProcessor 提供帧序列的读取、逐帧处理和显示功能。 CHaarDetector 提供检测和返回检测结果的接口。 CMyCamShift 提供初始化和逐帧跟踪的接口。 算法设计 人脸跟踪的框图设计 实验结果 人脸检测 利用HAAR特征训练针对人脸的级联分类器； 检测第一帧包含人脸的图像； 利用人脸检测的位置结果初始化CamShift； 实验结果 人脸跟踪 由检测器初始化人脸的初始位置； 利用Camshfit算法进行跟踪； 绿色的方框为人脸跟踪的结果； 方框的尺寸自适应改变； 在框内检测人眼的位置； 用蓝色的圆表示。 针对实际应用中缺陷所做的修改 颜色直方图 基于颜色信息的人脸跟踪时常将与面部肤色相似的颈部区域划入框内，导致跟踪漂移等问题，为矩形高度设置阈值，不超过宽度的1.5倍。 人眼检测 利用先验知识，人眼位于面部中上方区域，实际应用中将鼻孔错检为人眼，选择只对人脸框上方1/2的区域进行有哪些信誉好的足球投注网站，既降低了错检，也减少了检测时间。 实验结果 不足之处 跟踪失败 人脸发生较大的变化时跟踪失败，在实际应用中考虑检测跟踪失败的情况，比如按照是否该帧检测到人眼确定跟踪是否丢失，或定期进行人脸检测修正人脸位置。 实时性 在耗时中，检测所需要的时间较长，实现更复杂的各个面部器官的检测、甚至表情检测所需要的时间都会很长，考虑继续缩小有哪些信誉好的足球投注网站空间，利用边缘检测和关于人脸的先验知识。 实验结果 THANK YOU