多媒体技术复习讲解.docx

1.按国际电信联盟 (ITU) 标准的定义，媒体 标准的定义，分为五类： ① 感觉媒体 (Perception) ② 表示媒体 (Representation) ③ 显示媒体 (Display) 能够输入 /输出信息的工具和设备。 ④ 存储媒体(Storage)用于存放数字化的表示媒体储介质。如硬盘、磁带CD -ROM 、DVD 等 ⑤ 传输媒体 (Transmission) 能够将表示媒体从一处传递到另的物理传输介质，如同轴电缆、双绞线光纤等。 2.多媒体的定义 多媒体（ multimedia）是两种或者以上 ）是两种或者以上感觉媒体 (声音、 图像形视频动画文字、数据文件等 )的组合。 广义: 是指多种信息媒体的表现和传播形式，例如人是一个多媒体信息处理系统。 狭义 : 用计算机及其它设备交互处理多媒体信息的方法和手段，或指在计算机中处理多种媒体的一系列技术。 3.多媒体的关键特性 多样化：文字、数字、声音、图像、图形、视频等。 集成性：多种信息媒体的集成和处理这些媒体的设备的集成。 交互性：人的活动（activity）本身能作为一种媒体介入到信息转变为知识的过程。被动→主动 数字化：多媒体信息是以数字的形式而不是以模拟信号的形式存储和传输的。 4.多媒体技术的应用 ■娱乐■教育与培训■多媒体办公系统■多媒体通信系统■工业领域与科学计算领域■医疗影像与诊断■咨询服务、多媒体设计、广告宣传、创意媒体■电子出版■影视特效、动漫 5多媒体系统是一个能综合处理种信息的计算机统，由多媒体硬件系和软组成。多媒体计算机硬件系统主要包括采集输入设备、多媒体计算机和输出设备三大部分。 .数字信号处理器 DSP。 体积小、功耗低，运算速度快具有内部存储器各种不同类型。 音频与语音基础： 什么是语音，什么是音频（定义）; 语音：语言的物质外壳，是语言符号系统的载体。它由人的发音器官发出，负载着一定的语言意义。音频是个专业术语，人类能够听到的所有声音都称之为音频，它可能包括噪音等。 声音与信息：声音是传递信息的主要手段，接收到的声音反映了声源和环境的影响； 认识语谱图（例如横坐标是什么，纵坐标是什么？语谱图里每条竖直切线取出来就是 FFT 的结果）； 横坐标是时间，纵坐标是频率，坐标点值为语音数据能量n 声音 2 个物理特性； 频率：1秒钟内振动的次数；幅度：声音的强弱（能量） 人耳能听到的声音频率范围；超声波、次声波；声压级； 人耳能听到的声音：20Hz~20kHz¨超声波 :20kHz 次声波:20Hz; 声压级(Sound pressure level, SPL)SPLdB=20log10(P/P0) P: 声压 声音的 3 个主观心理量； 音高、响度、音色为声音的三要素。 响度是人类主观感觉到的声音的强弱程度，取决于声音的幅度。频率和响度的关系：等响度曲线。 音高（音调）取决于声音的频率。客观上音高大小取决于声波基频的高低。频率越高，人耳听到的声音就越高，反之亦然，但非线性关系。单位：美尔（Mel） 音色（音品）是由混入基音的泛音所决定的，或者说由声音波形的谐波频谱和包络决定。声音波形的基频所产生的听得最清楚的音叫基音，各次谐波的微小震动所产生的声音叫泛音。不同发音体所发出的音波都有自己的特异性，可分为纯音（单一频率）和复合音（具有谐波）。 双耳效应与虚拟听觉的概念；等响度曲线以及听阈和痛阈； 双耳效应：人可以利用两个耳朵接收声音时的强弱差 别和时间差别，判断出发声物的方位和距离，人耳的 这种能力称为双耳效应。 三维听觉显示（3DAudioDisplay）或者虚拟听觉空间（Virtual Auditory Space）就是根据人类听觉特征，通过双声道播放系统再现声源空间信息的技术。 混响的概念； 混响：是指声源停止发声后，在声场中还存在着来自各个界面的迟到的反射声形成的声音“残留”现象。 音频数字化（A/D转换）过程；音频文件的大小的计算（采样率、量化位数、通道数）； 数字化实际上就是采样和量化和编码。 采样（抽样，sampling）：将声音信号在时间上离散化，即每隔一段时间抽取一个信号样本。 采样频率(Sampling Rate) 奈奎斯特理论指出：采样频率不应低于声音信号最高频率的两倍，这样就能把以数字表达的声音还原成原来的声音，称为无损数字化。fs = 2fmax * 电话话音信号最高频率约为3.4kHz，所以采样频率取为8kHz。 量化（quantization）：将连续的信号幅度离散化。如果幅度的划分是等间隔的，称为线性量化，否则为非线性量化。 编码（Coding）：是指按一定的格式把经过采样和量化得到的离散数据（脉冲数字信号）记录下来，并在有效的数据中加入一些用于纠错、同步和控制的数据。 脉冲编码调制(PCM，Pulse