（精）基于手势识别的幻灯片控制系统的设计.ppt

毕业答辩 基于手势识别的幻灯片控制系统的设计与实现 指导老师：张淑军 学生姓名：王西庚 基于手势识别的幻灯片控制系统的设计与实现 课题研究背景 主要研究内容 系统总体结构 系统的设计与实现 系统测试 总结 1.课题研究背景 人机交互在当今计算机技术迅猛发展的今天逐渐成为人们日常生活中的重要部分 手势识别是一种简单、直观的新的交互方式，被越来越多的采用 基于手势识别的幻灯片控制系统，可以使我们了解和掌握手势识别的原理，并进行了简单的实际应用的设计 2.主要研究内容 了解手势识别研究的原理和方法 掌握OpenCV开源库的使用 熟悉Hu矩特征的基本概念 了解支持向量机（SVM）的分类原理和LibSVM的使用方法 在现有类库基础上实现一个基于手势识别的幻灯片控制系统 3.系统总体结构 根据系统设计的总体思想，其结构为： 4.系统的设计与实现 手图像的预处理 手图像几何特征的提取 SVM模型训练和LibSVM的应用 手势识别的流程 接口部分的设计与实现 4.1 手图像的预处理 手图像的准确获取：本系统中采用灰度投影法确定手的准确区域 手图像的灰度化：本系统中首先将图像由RGB色彩空间转化到YCbCr空间，再利用其Cb或Cr通道进行二值化分割 采用最大类间方差（Ostu）法进行图像的二值化 4.2 手图像几何特征的提取 能够描述图像特征的矩：Hu矩、小波矩、Zernike矩，本系统中使用Hu矩 Hu矩及其计算：通过对Hu矩的计算，得到了手势图像处理的结果，并作为SVM训练的样本 4.3 SVM训练模型和LibSVM的应用 最优化理论 SVM——支持向量机 LibSVM的应用：包括“svmtrain”和“svmpredict”,其中前者用于SVM样本训练，最后生成模型文件；后者根据模型文件，加上给定的输入，输出预测样本对应的类别 4.4 手势识别的流程 基于以上技术，手势识别的流程为： 4.5 接口的设计与实现 幻灯片控制——调用相应的控制函数，控制其翻页操作 接口的设计：根据加载的SVM模型对手势图像处理的结果进行判别，并根据判别结果在手势变换时调用不同的幻灯片控制函数，控制文件的翻页 OpenCV窗口的前端显示 5. 系统测试 对系统进行功能测试，其效果： 右图是系统运行时的 主菜单界面 下图是系统运行时的手势识别窗口，左图是对右图二值化处理后的结果 对系统进行性能测试： （1）交互延迟：从系统捕捉到图像到幻灯片执行相应操作所耗费的时间 。经过测试，其平均值为57.3ms （2）轮廓提取时间：系统对每一帧图像从开始捕捉到计算其Hu矩值的耗时 。经过测试，其平均值为40.7ms （3）摄像头采集图像的帧速：系统运行时摄像头每秒采集多少帧的图像。经过测试，平均帧速为32.2fps 总结 本课题利用目前比较成熟的OpenCV的相关函数，进行了基于Hu矩和SVM的手势识别的研究，并利用已有的幻灯片控制函数进行了简单的虚实交互 通过对系统进行功能和性能测试，基本实现了本课题的预期研究目标 谢谢！ 系统效果演示 * * 1 2 3 4 5 6 7 8 9 10 11 12 13 60 55 59 49 51 70 56 58 62 53 延迟（ms） 10 9 8 7 6 5 4 3 2 1 次数 38 42 36 40 41 46 38 42 45 39 时间（ms） 10 9 8 7 6 5 4 3 2 1 次数 14 30.3 35.7 29.4 32.3 34.5 28.6 34.5 31.2 29.4 35.7 帧速 33 28 34 31 29 35 29 32 34 28 一帧耗时/ms 10 9 8 7 6 5 4 3 2 1 次数 15 16 17 * * * *