基于视觉的手势识别技术的研究-机械电子工程专业论文.docxVIP

分类号： TP391 密级： U D C： 004 编号： 201222102011 河北工业大学硕士学位论文 基于视觉的手势识别技术的研究 论 文 作 者： 高楠 学 生 类 别： 全日制 学 科 门 类： 工学 学 科 专 业： 计算机科学与技术 指 导 教 师： 刘教民 职 称： 教授 Dissertation Submitted to Hebei University of Technology for The Master Degree of Computer Science and Technology RESEARCH ON VISION-BASED HAND GESTURE RECOGNITION TECHNOLOGY by Gao Nan Supervisor: Prof. Liu Jiaomin November 2014 I I 摘 要 基于自然手势的交互方式具有广泛的应用领域，是未来人机交互的主要方式之一。 本文的基于视觉的手势识别主要包括：手势分割、手势特征提取、静态手势识别、动 态手势识别。其中手势特征提取部分决定了之后的手势识别的准确率，本文重点研究 自然手势操作中的特征提取。动态手势识别是让计算机对交互者的手势序列进行识别， 从而理解人的交互意图。 基于视觉的手势识别系统是在自然环境下进行的，因而受到外界光照的影响。为 了降低基于 YCbCr 颜色空间的肤色提取方法受外界光照的影响，本文将背景差分法 融合在手势分割算法中，得到了准确完整的手势二值图。 手势特征提取包含两部分：用于手形识别的 Zernike 矩特征和结构特征组成的多 特征融合的手势特征向量，用于手势方向判别的椭圆拟合主方向特征的提取。由于手 势的主方向和大拇指的主方向差别较大，且手势主方向的特征提取在手形特征提取之 后进行，本文通过指尖定位以及凸缺陷深度点的定位将大拇指进行了切除，大拇指的 切除不会影响手形的特征提取，且保证了手势特征的正确提取。静态手势识别使用了 简单有效的基于模板匹配的欧氏距离方法。 完成静态手势识别后，本文利用动态时间规整算法消除图片序列的时空差异性完 成动态手势识别，实现了对 9 种手势的分类识别，并且在保证识别率的同时满足了系 统的实时性。 本文的实验环境是 VS2010 和 OpenCV 图像库，实验样本采用剑桥大学的动态手 势数据库，手形的平均识别率达到了 96.85%，手势主方向的平均识别率达到了 99%。 关键字：手势识别 结构特征 Zernike 矩 椭圆拟合 动态时间归整算法 II II ABSTRACT The natural interaction based on hand gesture recognition has a wide range of application, which is one of the main human-computer interactions. The Vision-based gesture recognition in this paper includes gesture segmentation, gesture feature extraction, static gesture recognition, and dynamic gesture recognition. The gesture feature extraction is the most important step which determines the accuracy of gesture recognition. Dynamic gesture recognition is to recognize the gesture sequence in order to understand the intentions of human interactions. Visual gesture recognition system runs in the natural environment, which is affected by light. In order to reduce the impact of the light, this paper fuses the background subtraction with the color extraction method based on YCbCr color space to obtain the accurate and complete gesture binary image. Gesture feature extraction consists of two parts