多层感知机(Multi-layer Perceptron,MLP),.pdf

第 7 卷第 3 期 信息技术快报 Vol.7 No.3 Information Technology Letter May 2009 手语识别研究综述 张良国 陈熙霖 摘 要： 本文综述了手语识别领域近年来的研究热点及国内外同行的研究进展，主要包括：根据输入方式 的不同，从基于数据手套和基于视觉的两个识别方式分别介绍手语识别的国内外代表性工作；在此基础上， 归纳出当前研究中的主流识别方法；在对研究现状的分析基础上，指出手语识别中依然存在的一些挑战问 题及可能的对策。此外，本文也简要介绍了本课题组在相关研究工作上的进展。 关键词： 手语识别；手势识别；人机交互； 1 引言 随着计算机在现代社会影响的迅速扩大，高性能、高智能和高可用性被普遍认为是当前 计算科学发展的主要方向。尤其是在计算技术、通讯技术及显示技术迅猛发展的今天，传统 的基于鼠标和键盘的人机交互技术越来越暴露出其局限性。这种局限性在新的显示技术，如 虚拟现实、穿戴计算机面前变得越来越明显，所以研究多模式人机接口技术在现实生活中变 得越来越重要。多模式人机接口技术研究目标是要掌握实现计算设备的高智能性和高可用性 的核心技术，建立和谐自然的人机交互环境，使得用户可以方便、自然地利用人类所熟知的 方式使用计算机。这其中的重要环节就是要使得计算机能够准确无误地感知包括自然语言、 手势语言、面部语言在内的人类不同的信息表达方式，包括用口语和书面语等自然语言外的 手势、体势、头势、口型、表情等人体语言联合传递的信息。听力正常人之间的语言交流主 要采用口语和书面语，并辅之以一定的体势和表情。在聋人之间的交流中，手语如同正常人 的口语一样，起着非常重要的作用。 手语是聋人进行信息交流和交际的最自然的方法，也是聋校进行教学和传递思想的工 具。手语是由手形、手臂运动并辅之以表情、唇动以及其它体势来表达思想的人体语言，具 有规范的语法、明确的语义和完备的词汇体系。中国手语作为手语的一个重要分支，分为两 类：手指语和手势语。手指语是用指式轨迹描述一个汉语拼音字母，并按照汉语拼音规则构 成的语言。手指语有 30 个手指字母构成的基本单位，以书面语为依据，将词对应的手指字 母连续打出来表示一个句子。汉语词汇中的任意一个词语都可以用手指语的形式表达。手势 语是以模拟事物的形状、动作为主要手段，并辅以姿态和表情来表达的。手势语是聋人日常 生活中使用的语言的主要部分。目前在中国手语教科书中包括大约 5500 个常规手势，每个 手势对应一个汉语词。手指语和手势语各有其优缺点。手指语优点是简单、明了，与拼音完 全一致，可以按口语、书面语拼打出要讲的内容，对手势语中不易表达出来的虚词、术语以 及抽象词汇等，都可以准确表达。缺点是缺乏直观形象的含义，不易理解。手势语的主要优 点是形象、敏捷、简单、活泼，使人一目了然。缺点是由于汉字的字词繁多，手势不易全面、 确切地表达出它们的意思。因此，目前在我国聋人交往主要使用手势语，适当地配合手指语。 手语识别的目的是通过计算机提供一种有效且准确的机制，将手语翻译成文本或语音使 得聋人和听力正常人之间的交流变得更加方便、快捷。它已成为人机接口领域的一项最重要 研究内容，吸引了越来越多的专家和学者的关注。尤其值得指出的是，许多欧美发达国家都 有专项的研究基金投入。我国目前有 2000 多万聋人，对手语识别的研究，无疑将直接造福 于这个群体，为其提供一种更加自然、更加方便快捷地与健听人交流的途径，以便他们更好 地融入社会，这也必将对构建多元关爱的和谐社会产生积极影响。 手语识别研究涉及到机器人学、空间几何学、心理学、生理学、模式识别、概率统计及 计算语言等多种学科的研究领域，更是模式识别、人工智能和自然语言理解等学科的典型案 28 手语识别研究综述 例之一。从理论/技术角度来看，手语识别的研究不但是各个学科的前沿技术实际运用的舞 台，反过来，它的研究又推动了上述研究领域的发展。通过计算机再现和识别手语，既是对 计算机的计算能力、知识表示能力的全面考验，也是对人体生理认知机能和模式识别能力的 工作机理的探索，是一项非常具有挑