基于特征线条的手势识别A-CiteSeerX.PDFVIP

1000-9825/2002/13(05)0987-07 ©2002 Journal of Software 软 件 学 报 Vol.13, No.5 基于特征线条的手势识别 任海兵, 徐光祐, 林学訚 (清华大学 计算机科学与技术系 人机交互与媒体集成研究所,北京 100084) E-mail: renhaibing@263.net; xgy-dcs@ .cn; lxy-dcs@ .cn 摘要: 单目视觉的手势识别系统,通常把人手建模成一个像素或者一块,从整体上分析手势的运动参数并提取表观 特征.从细微之处着手,融合颜色、运动和边缘等多种信息以提取能够反应人手结构特性的特征线条,并将特征线条 分割成小的曲线段,跟踪这些曲线段的运动.采用平面模型对手势图像表观的变化建模,根据各个曲线段的运动,融 合成手的整体运动分量. 同时分析了图像坐标系的选取和对运动参数的影响,提出了随手运动的坐标系, 以抽取平移 不变的平面模型参数,进行手势识别. 关 键 词: 特征线条;平面模型;平移不变;手势识别 中图法分类号: TP391 文献标识码: A 在虚拟现实的环境中,键盘、鼠标、游戏杆目前是主要的输入工具.然而,这些工具几乎都是基于 2D 的,在 3D 环境中应用起来很不方便,不能实现自然而随意的人机交互(human computer interaction,简称HCI).而人的语 音、手势可以说是最为自然、最为方便的交流手段, 同时手势又由于其在3D 环境中意义明确、方向精确,更是 虚拟现实中极好的输入工具.但是由于人手是复杂的变形体(deformable object),无法用简单的模型加以表示,人 手跟踪和手势识别又受到环境因素的影响, 因此很多研究人员采用数据手套(dataglove)或者电磁波等方法.然 [1,2] 而手上带有数据手套或者电磁波发射器等接触性传感器(contact type sensors),不利于自然灵活的人机交互 . 随着计算机硬件的发展,计算机视觉的方法已经逐渐地应用在人手的定位、跟踪以及手势识别等方面.其 中,首先需要解决的问题是环境因素,特别是背景,对人手的分割、定位造成的影响.在单目视觉系统中,最简单而 常用的方法是外加种种限制,如黑色或白色的墙壁、深色的服装等简化背景,或要求人手戴特殊颜色的手套或 者标记物(marker)等强调前景,这样可以直接从背景中划分出手区域[3~5] .又有如 Gary[6],应用人体皮肤颜色在 HSV 空间的聚集特性,将彩色视频图像转换为皮肤概率分布图像,通过 CAMSHIFT 算法,寻找 3 个最大的皮肤 区域块, 利用位置和面积等约束条件分割出人手. 而 Weng[7,8] 的系统采用预测和确认的分割方法 (prediction-and-verification segmentation scheme),先建立手势形状数据库,保存手势过程中各个时刻不同位置不 同比例的手势图像,分割时以此为模板计算相似度,进行复杂背景下的手势分割.Charles[9]使用 Markov 模型对 人手的轮廓建模, 以从背景中分割出手轮廓,然而一个模型只能适用于一个特定的手形轮廓.当然,也有系统采 [10] 用双目立体视觉原理, 由区域匹配计算图像各点视差, 由视差分割人手区域,如Joshua . 人手模型在手势识别中占有更加重要的地位.手的模型多种多样,相应的特征也多种多样.而在以运动参数 为特征的手势识别中,几乎都是将人手建模成一点或者一块,直接计算整体的运动参数.Lee[11] 与 Peng[12]都将手 看成一个点, 以其运动轨迹作为手势特征,所不同的是,Lee 应用 HMM 模型判断手势的开始和结束, 以进行手势 识别,而Peng 采用的是有限状态机(finite state machines) 的方法进行识别.Starner[8] 以椭圆为人手建模, 以椭圆中 收稿日期: 2000-05-23; 修改日期: 2001-03-05 基金项目: 国家自然科学基金资助