第12章多媒体人机交互技术.pptx

第十二章 多媒体人机交互技术;本章导读;本章主要内容;12.1　人机交互技术概述 12.1.1 人机交互简介;12.1.2 多模态人机交互;3、多模态人机交互的研究内容 ;4、多模态人机交互的基本特点 ;12.1.3 可视化;12.1.4 新型人机界面的主要特征;12.2　触摸屏技术 12.2.1 触摸屏简介;触摸屏是一种定位装置，安装在显示屏幕前面，它的功能是报告手指（或物体）触摸到屏幕的位置； 用户可以直接用手指触摸屏幕以实现与计算机的交互； 工作过程：手指或其他物体触摸触摸屏，触摸屏控制器检测位置（以坐标形式），通过计算机接口送到CPU，以确定用户所输入的信息。 触摸屏具有界面直观，操作简单，“伸手即得”的优点，大大改善了人与计算机的交互方式。;12.2.2 触摸屏的主要类型;1、电阻式触摸屏;2、电容式触摸屏;3、红外线式触摸屏;4、表面声波触摸屏;12.2.3 触摸屏的基本技术特性;12.3 OCR与手写识别技术; OCR的基本工作过程分为图文扫描、预处理、单字识别、后处理以及文档输出等五个环节，如图12-6所示。 ;12.3.2 手写识别技术;2、手写识别;3、影响识别率的因素;12.4 语音识别技术 12.4.1 语音识别技术简介;12.4.2 语音识别的技术原理;12.5 语音合成技术 12.5.1 语音合成技术简介;12.5.2 语音合成的技术方法;12.5.3 语音合成技术的应用与发展方向;12.6 虚拟现实技术 12.6.1 虚拟现实技术简介;12.6.2 虚拟现实系统 ;2、虚拟现实系统的构成;检测模块：检测用户的操作命令，并通过传感器模块作用于虚拟环境。 反馈模块：接受来自传感器模块信息，为用户提供实时反馈。 传感器模块：一方面接受来自用户的操作命令，并将其作用于虚拟环境；另一方面将操作后产生的结果以各种反馈的形式提供给用户。 控制模块：对传感器进行控制，使其对用户、虚拟环境和现实世界产生作用。 建模模块：获取现实世界组成部分的三维表示，并由此构成对应的虚拟环境。;12.6.3 虚拟现实技术的特征 ;12.6.4 虚拟现实的关键技术 ;3、立体显示和传感器技术;12.6.5 虚拟现实技术的应用领域 ;本章小结; 1)人机交互技术是指通过计算机系统的输入/输出设备，以有效的方式实现人与计算机系统之间信息交流???技术。它包括机器通过输出设备给人提供大量有关信息和操作导向，人通过输入设备向计算机输入操作信息等。从第一台计算机诞生到现在，人与计算机之间的交互方式经历了手工操作、字符用户界面（命令语言）、可视化的图形用户界面（GUI）3个阶段，人们操作使用计算机的直观性有了明显的改善。 2)多模态（Multimodality）人机交互，就是基于智能接口技术，充分利用人的多种感知通道，以并行的、非精确的方式与计算机系统进行交互，旨在提高人机交互的自然性和高效性。; 3)计算机系统中的可视化主要包括操作过程可视化、科学计算可视化和信息可视化3个方面。操作过程可视化是现代操作系统提供人机交互环境的基本要求，它通过GUI技术来实现；科学计算可视化是指运用计算机图形学和图像处理技术，将科学计算过程中的数据转换为图形或图像在屏幕上显示出来，进行交互处理的理论、方法和技术。 4)新型人机界面的主要特征是，人机交互更加人性化、自然化、智能化、高带宽，并且不受地点限制。 5)触摸屏是一种定位装置，安装在显示屏幕前面，其功能是报告手指（或物体）触摸到屏幕的位置。用户可以直接用手指触摸屏幕以实现与计算机的交互。; 6)OCR技术是通过扫描等光学输入方式将各种报刊、书籍、文稿、票据及其他印刷品的文字转化为图像信息，再利用文字识别技术将图像信息转化为可编辑的文本信息的计算机输入技术。OCR的基本工作过程分为图文扫描、预处理、单字识别、后处理以及文档输出等5个环节。 7)手写输入是完全以平常的书写习惯，把要输入的字符写在一块书写板的数字化设备上，这种设备将笔尖走过的轨迹按时间采样后发送到计算机中，通过手写识别技术，将手写内容识别成相应的字符内容（如汉字、数字、字母等），从而达到手写输入的目的。; 8)语音识别技术，是指通过计算机的识别和理解过程，将语音信号转换为相应的文字信息，从而识别说话人的语音指令及文字内容的技术。 9)虚拟现实是利用计算机生成一种模拟环境（如飞机驾驶舱、操作现场等），通过多种传感设备使用户“投入”到该环境中，实现用户与该环境直接进行自然交互的技术。其关键技术主要有：动态环境建模技术，实时三维图形生成技术，立体显示和传感器技术，应用系统开发工具，系统集成技术等。 ;The End