语音信号处理基础知识.ppt

语音听觉系统人耳由内耳、中耳和外耳三部分组成。外耳由耳翼、外耳道和鼓膜构成。外耳在对声音的感知中起着声源定位和声音放大的作用。中耳包括由锤骨、砧骨和镫骨这三块听小骨构成的听骨链以及咽鼓管等组成。中耳的作用是进行声阻抗的变换，即将中耳两端的声阻抗匹配起来，同时对内耳起着保护的作用。内耳的主要构成器官是耳蜗(Cochlea)。它是听觉的受纳器，把声音通过机械变换产生神经发放信号。第31页，共58页，星期日，2025年，2月5日语音听觉系统人的听觉系统第32页，共58页，星期日，2025年，2月5日语音听觉系统人的听觉系统有两个重要特性，一个是耳蜗对于声信号的时频分析特性；另一个是人耳听觉掩蔽效应。如果信号是一个多频率信号，则产生的行波将沿着基底膜在不同的位置产生最大幅度。从这个意义上讲，耳蜗就象一个频谱分析仪，将复杂的信号分解成各种频率分量。并非所有的声音都能被人耳听到，这取决于声音的强度和其频率范围。心理声学中的听觉掩蔽效应是指，在一个强信号附近，弱信号将变得不可闻，被掩蔽掉了。时间掩蔽：同时掩蔽和短时掩蔽频率掩蔽第33页，共58页，星期日，2025年，2月5日2.1概述2.2语音和语言2.3汉语语音学2.4语音生成系统和语音感知系统2.5语音信号生成的数学模型2.6语音信号的特性分析第2章语音信号处理的基础知识第34页，共58页，星期日，2025年，2月5日2.5语音信号生成的数学模型所谓建立数学模型就是要寻求一种可以表达一定物理状态下量与量之间关系的数学表示。建立了语音信号的数字模型，才能够用计算机来定量地对语音信号进行模拟和处理。所以语音信号生成的数学模型是语音信号处理的基础。第35页，共58页，星期日，2025年，2月5日2.5语音信号生成的数学模型理想的模型是线性的和时不变的。语音信号是非平稳随机过程，其特性是随着时间变化的，所以模型中的参数应该是随时间而变化的。但语音信号特性随着时间变化是很缓慢的。所以可以作出一些合理的假设，将语音信号分为一些相继的短段进行处理，在这些短段中可以认为语音信号特性是不随着时间变化的平稳随机过程。这样在这些短段时间内表示语音信号时，可以采用线性时不变模型。第36页，共58页，星期日，2025年，2月5日激励模型激励模型一般分成浊音激励和清音激励来讨论。发浊音时，由于声带不断张开和关闭，将产生间歇的脉冲波。这个脉冲波的波形类似于斜三角形的脉冲，它的数学表达式如下：式中，N1为斜三角波上升部分的时间，N2为其下降部分的时间。单个斜三角波波形的频谱的图形如图2-18所示。由图可见，它是一个低通滤波器。它的变换的全极模型的形式是：第37页，共58页，星期日，2025年，2月5日激励模型这里，c是一个常数。显然，上式表示斜三角波形可描述为一个二极点的模型。因此，斜三角波形串可视为加权了单位脉冲串激励上述单个斜三角波模型的结果。而该单位脉冲串及幅值因子则可表示成下面的z变换形式：所以，整个浊音激励模型可表示为：也就是说浊音激励波是一个以基音周期为周期的斜三角脉冲串。第38页，共58页，星期日，2025年，2月5日声道模型关于声道部分的数学模型，有多种观点，目前最常用的有两种建模方法。一是把声道视为由多个等长的不同截面积的管子串联而成的系统。按此观点推导出的叫“声管模型”。另一个是把声道视为一个谐振腔，按此推导出的叫“共振峰模型”。共振峰模型，把声道视为一个谐振腔。共振峰就是这个腔体的谐振频率。由于人耳听觉的柯替氏器官的纤毛细胞就是按频率感受而排列其位置的，所以这种共振峰的声道模型方法是非常有效的。一般来说，一个元音用前三个共振峰来表示就足够了；而对于较复杂的辅音或鼻音，大概要用到前五个以上的共振峰才行。基于物理声学的共振峰理论，可以建立起三种实用的共振峰模型：级联型、并联型和混合型。第39页，共58页，星期日，2025年，2月5日声道模型级联型这时认为声道是一组串联的二阶谐振器。从共振峰理论来看，整个声道具有多个谐振频率和多个反谐振频率，所以它可被模拟为一个零极点的数学模型；但对于一般元音，则用全极点模型就可以了。它的传输函数可分解表示为多个二阶极点的网络的串联：第40页，共58页，星期日，2025年，2月5日声道模型级联型第41页，共58页，星期日，2025年，2月5日声道模型并联型对于非一般元音以及大部分辅音，必须考虑采用零极点模型。此时，模型的传输函数如下：通常，NR，且设分子与分母无公因子及分母无重根，则上式可分解为如下部分分式之和的形式：这就是并联型的共振峰模型。如