多媒体信息数据描述.pptx

第2章 多媒体信息数据描述 2.1 声音 2.2 文本 2.3 图像2021/7/42.1 声音声音信号数字化 声音文件格式声音处理、播放软件2021/7/4 声音信号数字化 声音的种类：人的话音、乐器声、动物发出的声音、自然界的雷声、风声、雨声、闪电声、机器产生的声音等声音电信号在时间和幅度上都是连续的模拟信号 声音信号的两个基本参数：频率：信号每秒钟变化的次数，用Hz表示。 幅度：信号的强度2021/7/4声音信号数字化时间和幅度都用离散的数字表示的信号就称为数字信号。声音信号数字化：将声音模拟信号转换成数字信号2021/7/4 声音信号数字化声音信号数字化步骤：采样(sampling) ：某些特定的时刻对声音模拟信号的幅度值进行测量。均匀采样(uniform sampling）：每隔相等的一小段时间采样一次。 量化(quantization):把采样得到的信号幅度转换成数值。线性量化（均匀量化）：幅度的划分等间隔非线性量化（非均匀量化）:幅度的划分不等间隔 2021/7/4声音信号数字化问题：①每秒钟需要采集多少个声音样本？——采样频率(fs)②每个声音样本的位数(bit per sample，bps)是多少？——量化精度2021/7/4 声音信号数字化采样频率奈奎斯特理论(Nyquist theory)：采样频率不应低于声音信号最高频率的两倍。这样就能把以数字表达的声音还原成原来的声音——无损数字化(lossless digitization)。采样定律公式： fs 3 ≥2f或者： Ts ≤ T/2 其中f为被采样信号的最高频率例：声音信号：看成由许许多多正弦波组成，一个正弦波至少需要两个采样样本表示。电话话音：信号频率约为3.4 kHz，采样频率就选为8 kHz。 2021/7/4声音信号数字化采样精度　声音样本的位数bit/s(即bps) 反映度量声音波形幅度的精度。例如：每个声音样本用16位(2字节)表示，测得的声音样本值是在0～65536的范围里，它的精度就是输入信号的1/65536。位数越多，声音的质量越高，而需要的存储空间也越多；位数越少，声音的质量越低，需要的存储空间越少。　采样精度的另一种表示方法是信号噪声比，简称为信噪比(signal-to-noise ratio，SNR) ： SNR＝ 10 log [(Vsignal)2 / (Vnoise)2]＝20 log (Vsignal / Vnoise)其中，Vsignal表示信号电压，Vnoise表示噪声电压；SNR的单位为分贝(db)2021/7/4声音文件格式常见的声音文件格式有：WAV,VOC,MIDI,CMF,MOD,MP3WAV文件是Windows所使用的标准数字音频文件，称为波形文件。MP3文件是近几年产生的音乐文件，是以音频压缩标准MPEG Layer 3压缩编码的一种音频格式文件。2021/7/4声音文件格式波形音频素材的通过以下途径获取：（1）利用麦克风直接录音，获取数字化的语音和音乐素材。（2）家用音响设备、录音机、收音机、电视机以及所有声源的音频输出信号接入声卡的线路输入端，利用音频处理软件将对其进行录音，以此获得是数字音频信号。（Line in）（3）将音乐光盘放入ＣＤ—ROM驱动器中，对ＣＤ音轨进行声音采样，转化为数字音频信号。（4）利用专用软件，将mp3格式的压缩音频文件转换成波形音频文件。2021/7/4声音文件格式WAV音频文件的特点采样频率越高，数字化声音与声源的声音效果越接近，音质越好。采样精度越高，数据的表达越精确，音质越好。可选择数字音频信号的立体声或单声道形式，立体声比单声道的数据量大一倍。 采样频率和采样精度越高，音频信号数据量就越大。数据记录详尽，音频数据基本上没有经过压缩处理，数据量大。2021/7/4声音文件格式MIDI（Musical Instrument Digital Interface “电子乐器数字接口”）用于在音乐合成器(music synthesizers)、乐器(musical instruments)和计算机之间交换音乐信息的一种标准协议。MIDI优点：生成的文件比较小，因为MIDI文件存储的是命令，而不是声音波形；容易编辑，因为编辑命令比编辑声音波形要容易得多；可以作背景音乐，和其它的媒体，如数字电视、图形、动画、话音等一起播放，加强演示效果。2021/7/4声音文件格式产生MIDI乐音的方法（用得较多的两种）FM(frequency modulation频率调制 )合成法： 波形用数字来表达，用数字计算机它们组合起来，通过数模转换器(digital to analog convertor，DAC)来生成乐音。 乐音样本合成法，也称为波形表(Wavetable)合成法： 真实