信息论与编码民大04-信源编码概述.ppt

电信学院 汪汉新 信源编码概述 为什么要进行信源编码 信源的两个重要问题 信源输出的信息量计算问题； 如何更有效地表示信源输出的问题。 为什么要进行信源编码 理论上只要有传送H∞的手段，就能把信源包含的信息全部发送出去。但实际上确定H∞非常困难，只好用实际信源熵Hm来近似。而HmH∞，所以在传输手段上必然存在冗余，即造成一定的浪费，这种浪费是由信源符号的相关性引起的。 信源编码正是通过减少或消除信源的冗余度来提高通信效率。 信源编码的原则 编码后能更加有效地传输、存储信息。 编码后尽可能减少信息的损失，提高编码后携带信息的效率 信源编码的分类 无失真数据压缩编码：冗余度压缩编码（统计编码）（熵编码） （Lossless Coding, Noiseless Coding, Data Compaction, Redundancy Reduction, Entropy Coding） 限失真数据压缩编码：熵压缩编码 （Lossy Coding, Entropy Compression） 冗余度压缩编码 冗余度压缩编码，可逆压缩，经编译码后可以无失真地恢复。 信源 = 信息 + 冗余 实际信源产生信号所携带信息的效率非常低，只有20 ~50%，这就涉及数据的有效表示－－－冗余度压缩。 ? 有冗余就可压缩 ? 压缩在一定限度内可逆 ? 采用的技术： ? 时域样点之间相关（ PCM、ADPCM、?M ） ? 频域谱的非平坦性（频域相关：子带编码SBC、自适应变换编码ATC） ? 统计特性，Huffman 编码，算术编码Arithmetic Coding ? 通用编码，Lempel-Ziv（LZ） 编码 熵压缩编码 熵压缩编码，不可逆压缩 ? 压缩超过一定限度，必然带来失真 ? 允许的失真越大，压缩的比例越大 ? 译码时能按一定的失真容许度恢复，保留尽可能多的信息 ? 采用的技术： ? 量化： 标量量化SQ (Scalar Quantization)， 矢量量化VQ (Vector Quantization) ? 变换编码（DCT， DFT， Wavelet等 ） ? 预测编码（线性预测码LPC-10， ADPCM ） ? 人的感知特性（如：对人耳听不到或感知极不灵敏的声音分量都不妨视为冗余 ） ? 其它 信源压缩编码算法 信源压缩编码算法缩写 KLT：Karhunen-Loeve Transform DCT：Discrete Cosine Transform DST：Discrete Sinusoid Transform DFT：Discrete Fourier Transform WHT：Walsh-Hadamard Transform SLT：Slant Transform HAAR：Haar Transform LPC-10：Government Standard Linear Predictive Coding Algorithm: LPC-10 MELP：Mixed Excited Linear Predictive Coding CELP：Codebook Excited Linear Predictive Coding ACELP：Algebraic Codebook Excitation LPC QCELP：Qualcom Codebook Excitation LPC EVRC：Enhanced Variable Rate Codec LD-CELP：Low Delay-CELP CS-ACELP：Conjugate-Structure Algebraic CELP VSELP：Vector Sum Excitation LPC RPE-LT：Long Time Predictive Regular-Pulse Excitation LPC MPLPC：Multi-Pulse Excitation LPC MP-MLQ：Multipulse Maximum Likelihood Quantization MBE：Multi-Band Excitation Speech Coder STC：Sinusoid Transform Coding CVSD：Continuously Variable Slope Delta Modulator SB-ADPCM：Sub-Band Adaptive Differential Pulse Code Modulation PTC：PictureTel T