第2章基础知识课件.ppt

第2章 基础知识 1 . 人类听觉特点 2. 语言信号处理基础 3. 人类视觉特点与图像质量评价 4.图像信号处理基础 1 . 人类听觉特点 2.1.1语音产生的过程及其声学特性 1 . 人类听觉特点 2．1．2语音信号产生的数字模型 语音信号产生的数字模型，可以分为三个部分：激励源、声道模型和辐射模型(嘴唇)。 语音通常分为浊音和清音，因此激励源分浊音和清音两个分支，按照浊音倩音开关所处的位置来决定产生的语音是浊音还是清音。在浊音的情况下，激励信号由一个周期脉冲发生器产生，其周期称为基音周期。为了使浊音的激励信号具有声门气流脉冲的实际波形，还需要使这一脉冲序列通过一个声门脉冲模型滤波器，其传输函数为G(Z)，再经过一个幅度控制，调节输出浊音的能量，系统输出即为所要求的浊音激励， 1 . 人类听觉特点 2．1．3听觉系统和语音感知 人的听觉范围 正常人的听觉系统是极为灵敏的，正常人可听声音的频率范围为0．016～16kHz，年轻人可听到20 kHz的声音，而老年人可听到的最高频率为10 kHz左右。 掩蔽效应 当人耳听到两个强度不同的声音时，强的声音的频率成分会影响人耳对弱的声音的频率成分的收听，这种现象称为掩蔽效应。通常，低音容易掩蔽高音，而高音掩蔽低音较难。 另一种掩蔽是噪音对单音的掩蔽。一个单音可以被以它为中心频率，具有一定频带宽度的连续噪音所掩蔽。如果在这一频带内噪声功率等于该纯音的功率，这时该纯音处于刚能被听到的临界状态，即称这一带宽为临界带宽。临界带宽可以通过实验来测得。 对清晰度有影响的一些因素 (1)语音强度对清晰度的影响 实验表明，平均语音强度为25～27dB时，测听材料约有一半可以听清楚。如果要使其中有80％可以正确分辨，语音强度一般要达到60dB以上。 (2)对语音的掩蔽作用 对于纯音掩蔽而言，低频纯音对语音的掩蔽要大于高频纯音。在纯音强度较大时，300Hz左右的纯音产生最大的掩蔽作用，当其强度较小时，500Hz左右的纯音影响最大。 (3)频率选择性 研究结果表明，对于低通滤波而言，去掉5 kHz以上的频率成分清晰度不受影响；滤掉1.5 kHz以上的成分清晰度约下降一半，而当滤掉200 Hz以上的成分时，清晰度降为零。对于高通滤波而言，保留400Hz以上的频率成分清晰度基本不受影响；保留2300Hz以上的频率成分，清晰度下降一半左右，而若仅保留6 kHz以上的成分时，清晰度降为零。 (4)限幅的影响 2．1．4语音信号的统计特性 (1)静息波：它是音节之间的间隙，在波形上是一条细线(图b) (2)准周期波：它是浊音的波形，如ing，ang等，它们具有比较明显的周期性(图c)。各个浊音的波形是不同的。 (3)噪声波：摩擦音的波形(图d) (4)脉冲波：塞音g的起始段波形(图d) 2．1．5语音的质量评价 1．基于SNR的评价方法 2．基于LPC技术的评价方法 3．基于谱距离的评价方法 4．基于听觉模型评价方法 5．基于判断模型的评价方法 6．其他评价方法 主要有一致函数法，信息指数法，专家模式识别法等。 2．2语音信号处理基础 信息隐藏和数字水印中，采用的主要方法都是以数字信号处理为基础，因此本节主要介绍在语音信号处理中常用的方法。 2．2．1语音波形编码 1．PCM编码 2．ADPCM编码 3．子带编码(SBC) 4．变换域编码(TC) 2．2．2语音短时特性 1．语音信号的存储和加窗 矩形窗：(其中N为帧长) 哈明窗 2．语音信号的短时能量、短时平均幅度和短时过零率 语音信号的短时能量 语音信号的短时平均幅度 语音信号的短时过零率 2．2．3线性预测分析 声道模型可以用一个全极点模型来模拟 当阶数N足够大时，这个全极点模型几乎可以模拟所有的声道系统(包括清音、浊音、鼻音和摩擦音)。 线性预测的基本原理是：语音信号的当前估计值 ,可以用前N个值， , …, 的加权线性组合来逼近，即 2．2．4常用处理算法 1．傅立叶变换与短时傅立叶变换 短时傅立叶变换(STFT：Short Time Fourier Transform)就是使用预先加窗的方法，取得某一段时问信号，再分析其频谱特性。 加窗的作用就是取出在时刻t附近的信号，STFT可以看作是信号在时刻t附近的局部谱，所有在窗函数里的信号特征都被看成是时刻￡的信号特征。因此，我们希望用短的时间窗来刻画时刻t的信号特征，获得好的时间分辨率。另一方面，在频率厂处的STFT可以看作是信号通过带通滤波器得到的，因此，要得到好的频率分辨率，则希望窄带的滤波器，即意味着长的时间窗，可见，好的时间分辨率和好的频