基于分层原语的多模态输入统一访问接口-人机交互与媒体集成研究所.pdf

和谐人机环境 2008 基于分层原语的多模态输入统一访问接口 孟祥亮 史元春 杨欣 清华大学计算机科学与技术系 普适计算教育部重点实验室，北京 100084 摘 要：非传统接口的人机交互应用程序通常需要针对不同的输入设备编写，应用程序的复用 性较差。本文提出一种基于输入统一访问接口的交互程序开发模式，和一组适合于多模态接口 的分层输入原语集合。我们将输入原语划分为“动作原语”、“姿态原语”和“命令原语”三个 层次，每层原语分别面向输入交互过程的不同环节，逐步递进到与输入设备无关的交互命令； 基于该原语模型，我们设计实现了一个多模态输入统一访问接口──Inputware ，将不同输入设 备获得的用户操作转换为应用程序可以理解的功能命令，使得不同种类、不同模态的输入设备 能够统一地用于各种应用程序；在一个三维虚拟场景漫游的应用实例中，我们利用统一访问接 口实现了在键盘鼠标和新型三维操控器之间即时无缝切换，验证了其有效性。 关键词：人机交互；多模态输入；交互原语；软件框架；中间件 1．引言 1 人机交互应用程序通常需要针对不同的输入设备进行编写，对于层出不穷的新型交互 设备，不可避免地要为新设备编写应用程序，而这一过程往往意味着对已有应用的重复开 发。针对这一问题，学术界和工业界已有一些人机交互输入框架的研究，例如： Microsoft DirectX DXUT Framework[1]是美国微软公司在 DirectX SDK 中提供的一个编 程框架，针对游戏开发。在输入处理方面提供了第一和第三人称视角的摄像机类，使开发 者不需要考虑输入设备的种类即可对视角和场景内的物体进行控制。但它只支持键盘、鼠 标和游戏控制器，扩展性较差，并且只能用于 Direct3D 程序开发。 Input Configurator[2]是一个用于创建输入可配置的应用程序的系统，基于反应数据流 （Reactive Data-flow ）结构，将输入流程描述为互相连接的独立模块，通过配置输入信号在 模块间的流动方式来支持不同设备。它能够非常灵活地配置输入设备和应用程序的行为， 并提供友好的配置界面。缺点是配置复杂，且只支持 Java 语言应用程序。 Extensible Middleware Framework[3]是一种分布式环境下的多模态接口框架，分别管理 输入通道和应用程序，确保这两部分的可重用行和扩展性。该框架集中关注输入设备的能 力和应用程序的需求，使用基于 XML 的消息驱动方式将输入数据重新定向给需要的应用 程序。该系统主要应用在网络环境下的多代理应用中，侧重于对设备和应用的管理，系统 只负责协调，输入设备与应用程序直接通信，耦合度较高，不易实现高层原语。 本文提出一组适合于多模态人机交互的分层输入原语集合，和一种基于输入统一访问 接口的交互程序开发模式，并设计实现了一个多模态输入统一访问接口──Inputware ，作 资助项目：863“支持多用户共享的多模态交互模型与关键技术”（2006AA01Z131 ） 联系作者：孟祥亮，E-mail ：911mxl@ 242 Ⅱ 多媒体系统 为输入设备与应用程序间的桥梁，进行操作原语的解释与融合，将不同输入设备获得的用 户操作转换为应用程序可以理解的功能命令，从而使得不同种类、不同模态的输入设备能 够用于各种应用程序，即使应用程序不是专门为该设备开发的。 2 ．交互程序开发模式的改变 传统的 WIMP 类图形界面应用程序采用图 1 所示的交互开发模式，图形界面库对键盘、 鼠标等设备提供支持。对于其它输入设备，开发者有两种使用方法： 1) 输入设备模拟键盘或鼠标，应用程序无需修改，仍通过图形界面库获得输入（如 图 1(1)号连线）。语音输入、笔式输入设备通常使用这种方法，但设备的特殊输入 信息（例如手写笔的压感信息）将会丢失。 2) 不通过图形界面库，应用程序直接访问输入设备的编程接口（如图 1(2)号连线）。 这种方法灵活性较强，能够使用输入设备的所有信息。但应用程序需要明确了解 设备种类和该