一种基于单目视觉的人手检测与识别方法 - 副本.doc

一种基于单目视觉的人手检测与识别方法 摘 要 提出了一种单目视觉下的人手检测与识别方法。该方法结合肤色检测与运动前景检测技术，实现了人手的定位，再由阈值分割获取人手的二值图像。提取傅里叶形状描述子作为二值图像的特征，在与样本的特征进行相似性比对之后获得最终识别结果。实验证明，该方法可以有效地实现复杂背景下人手的定位与识别。 关键词 肤色区域检测；人手定位；手势识别 中图分类号 T and Recognition Method Based on Monocular Vision WU Jiang-mei, ZHANG Yu-hui, SUN Ying, LIU Hai-meng (Suqian College, Suqian Jiangsu 223800) Abstract A human hand location and gesture recognition methods was proposed in this paper. It combined skin color detection and motion detection technology to achieve hand detection, followed by threshold segmentation to obtain binary images. Fourier shape descriptors were extracted as binary images’ features. After similarity comparison with the samples’ features, we obtained the final recognition result. Experiments show that this method can effectively implement hand gesture location and recognition under complex background. Key words skin region detection; hand localization; gesture recognition Class Number TN911;TP391 前言 近年来，由于人机交互应用的需求，手势定位与识别越来越受到关注。以人手直接作为计算机输入设备，利用手势识别技术对机器进行控制，省去了中间媒体，加强了人机交互的自然性和方便性。手势识别包括静态手势识别及动态手势识别。目前静态手势识别的方法和准确性已经达到了较高水平，但动态手势识别的精确度还有待提高[1]。若按输入设备手势识别又可分为基于佩戴式输入设备的识别[2-4]和基于视觉 [5-6]的识别两类。文献[7]指出在当前技术水平下，能够满足人机交互应用要求的只有基于数据手套的识别方法。但是，基于数据手套的手势识别，在识别时必须戴上专用的识别设备，限制了自然的人机交互。因而基于计算机视觉的识别方式成为当下研究的主要对象。其识别过程主要为：手势分割[8]、手势特征提取、手势识别等3个阶段。 本文在对手势进行识别时，首先利用运动前景检测与肤色检测技术获取包含人手的图像区域，之后对该区域进行图像处理，提取人手的特征向量，在与模板进行匹配后给出识别结果。 1 人手分割 1.1复杂背景下运动前景检测 本文将背景图像定义为视频流中没有运动手势的图像，前景定义为人手区域。常用的前景检测方法有：帧间差分法、光流法、以及背景减法，但这些方法都有各自的缺点。本文采用基于图像融合的前景检测技术，该方法可以简单有效地从背景中分割前景区域。 一般由摄像机采集的视频帧是RGB颜色图像，由R(红色)、G(绿色)和B(蓝色)3个通道的图像组成。为了提取运动前景，将当前帧Ii与背景图像BI按公式(1)在3个颜色通道上进行融合 (1) 其中，F是融合图像，FR，FG和FB分别是融合图像在R、G和B通道的分量，具体取值为，，。 融合后的图像在各个像素上同时包含了背景信息与当前帧信息。由于在 RGB彩色空间中，人对颜色的感知差别和计算差别的一致性较差。而HSV彩色空间模型更加符合人眼的视觉感知一致性。因而，为了有效分割运动前景，本文将融合图像按照公式(2~4)从RGB转换到HSV彩色空间。 (2) (3) (4) 经实验发现前景区域的饱和度较高，背景区域的饱和度较低。这为前景与背景的分离提供了条件。 1.2 肤色检测 肤色是人体最为显著的特征之一，通过肤色信息可以实现粗略的人手定位。本文把肤色检测技术应用于手势分割中, 提取具有肤色信息的帧图像区域。 在诸多彩色模型中，YCbCr 颜色空间模型更加适合肤色检测，Y表示亮度，分量Cb表示蓝色分量和亮度值之差，分量C