[信息与通信]第2章多媒体音频信号处理_新.ppt

第2章 多媒体音频信号处理 2.1 音频信号概述 2.2 数字音频基础知识 2.3 声卡概述 2.4 音频信号的采集与处理 2.5 乐器数字接口MIDI 2.6 语音识别与语音合成 2.1 音频信号概述 2.1.1 信号的描述及分类 1. 确定信号及随机信号 能够用一确定的时间函数来表示的信号就是确定信号。这种信号对应某一时刻都有一个确定的信号值。 有一些信号具有不可预知的不确定性，这种信号就是随机信号。 我们将要研究的音频信号、视频信号以至计算机中的数字信号均为确定信号。 2. 模拟信号与数字信号 如果信号在时间上和幅度上都是连续的，那么这样的信号就是模拟信号。模拟信号以一定时间间隔取值，则可获得离散信号，又称之为采样信号。若将离散信号进行二进制编码，以二进制编码来表示离散值的幅度，那么这种二进制编码信号叫做数字信号。 话筒或摄像机产生的信号为模拟信号。模拟信号经过采样可获得离散信号，离散信号经A/D转换变成二进制的数字信号，数字信号就可以由计算机直接进行处理了。 图2-1中，用连续变化的曲线表示模拟信号；用圆点表示以相等时间间隔取值而得到的离散信号；纵坐标上标的是幅度的二进制编码值。 2.1.2 声音的特性 1) 声音的波动性 任何物体的振动通过空气的传播都会形成连续或间断的波动，这种波动引起人的耳膜的振动，变为人的听觉。因此，声音是一种连续或间断的波动。 在任一时刻，模拟声波信号都可以分解为一系列正弦波的线性叠加： 音调：人耳对声音频率高低的感觉。音调是由声源振动频率决定的，频率高则音调高，频率低则音调低。音调高时声音尖锐，俗称高音；音调低时声音沉闷，俗称低音。在音乐中音调主要指音阶的变化，频率增加一倍，音乐上称提高了一个八度。 音强：衡量声波在传播过程中声音强弱的物理量，与声波的幅度成正比。人耳辨别声音的能力只有在音量适中时才最灵敏。人的听觉响应是用声音信号幅度取对数后再乘以20所得数值来描述，以分贝为单位。 音色：用来描述声音品质，音调是由基音决定的，而音色主要取决于声音频谱结构中泛音的多少。一个声波上的谐波越丰富，音色越好。各种乐器发出的声音有很大的差别，主要是它们所发出声音的谐波分布不同，谐波分量的幅度也不相同。 表2-1 常见声音的强度（dB） 3) 声音的连续谱 声音信号一般为非周期信号，包含有一定频带的所有频率分量，其频谱是连续谱。声波的连续谱成分使声音听起来饱满、生动。 4) 声音的方向性 声音的传播是以弹性波形式进行的，传播具有方向性，人通过到达左右两耳声波的时间差及声音强度差异来辨别声音的方向。声音的方向性是产生立体声效果和空间效果的基础。 2.1.3 音频信号 常见的音频信号主要有电话信号、调频、调幅无线电广播信号和高保真数字立体声音频信号。由于用途不同，这些音频信号频带宽度（简称带宽）也各不相同。 在音响设备中，通常以音频信号的带宽来衡量声音的质量。在模拟设备中，带宽使用的是频率的单位Hz；在数字设备中，带宽通常以每秒通过的比特(bps)或每秒通过的字节数来表示。无论模拟设备还是数字设备，带宽都是指单位时间内通过的数据量。 2.2 数字音频基础知识 2.2.1 声音信号数字化过程 自然界的声音都是模拟音频信号，必须变换为数字音频才能在计算机上进行处理。模拟声音的数字化即模数(A/D) 转换需要经过采样、量化和编码3个步骤。 2.2.2 数字化声音的技术指标 数字化声音的质量主要取决于采样频率、量化位数、声道数等参数。 1) 采样频率 单位时间内采样的个数称为采样频率，用fs表示。根据奈奎斯特采样定理，采样频率不应低于声音信号最高频率的两倍，这样才能用数字化声音还原出原来的模拟声音。 采样频率越高，声音的保真度越高，信号的质量就越好。目前常用的标准采样频率有：11.025kHz，22.05kHz，44.1kHz和48kHz几种。 2) 量化位数 量化是对采样后的声音样本在幅值上离散化，即把信号强度划分为不同的等级，然后将每一个样本归入预先编排的量化等级上。 量化位数就是记录声音样本幅值所用数据的位数。量化位数n决定了量化等级M，即M=2n。例如，量化位数为8(8位二进制数)，则记录振幅时，从最低音到最高音将音频信号的振幅轴分为28＝256个级别量化数据。 3) 声道数 单声道(Monophonic)意味着单个声源，只产生一个声音波形；而双声道(双声道立体声, Stereophonic)产生两个波形，但并不表示有两个声源，立体