第三章信源熵率及冗余度.pptVIP

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 1、 * * 冗余度－5 首先求得独立等概率情况H0 ，即 其次，计算独立不等概率情况H1 ， 再次，若仅考虑字母有一维相关性，求H2 ， 最后实际熵H∞，利用统计推断方法求出。由于采用的逼近的方法和所取的样本的不同，推算值也有不同，这里采用Shannon的推断值。 冗余度－6 这一结论说明，英文信源，从理论上看71％是多余成分。 直观地说100页英文书，理论上看仅有29页是有效的，其余71页是多余的。正是由于这一多余量的存在，才有可能对英文信源进行压缩编码。 冗余度－7 对于其它文字，也有不少人作了大量的统计工作，简述如下： ? 英文 法文 德文 西班牙文 中文 （按8千汉字计算） 问题五 如何有效表示信源输出信号？ 编码－1 编码： 源字母序列 编码器 码字母序列 源字母表 码字母表 源序列 映射 码序列 编码－2 编码分类 信源编码－1 针对信源的编码，能更加有效地传输、存储信息。 目的：提高通信系统有效性，实现信源与通信系统间的统计匹配。编码后尽可能减少所需信息的损失，提高编码后携带信息的效率。 分类： 冗余度压缩 熵压缩 冗余度压缩编码，可逆压缩，经编译码后可以无失真地恢复。 (Lossless Coding, Noiseless Coding, Data Compaction, Redundancy Reduction, Entropy Coding) 信源 = 信息 + 冗余 对冗余度的计算说明，实际信源产生信号所携带信息的效率非常低，只有20 ~50%，这就涉及数据的有效表示－冗余度压缩。 有冗余就可压缩 压缩在一定限度内可逆 技术 ? 时域样点之间相关（短时、长时） ? 统计特性：Huffman 编码，算术编码Arithmetic Coding ? 通用编码：Lempel-Ziv 编码 信源编码－2 ?熵压缩编码，不可逆压缩 (Lossy Coding, Entropy Compression) ? 压缩超过一定限度，必然带来失真 ? 允许的失真越大，压缩的比例越大 ? 译码时能按一定的失真容许度恢复，保留尽可能多的信息 ? 技术 ? 量化： 标量量化SQ (Scalar Quantization)， 矢量量化VQ (Vector Quantization) ? 变换编码 ? 预测编码 信源编码－3 作业 一黑白气象传真图的消息只有黑色和白色两种，即信源X={黑,白}。设黑色出现的概率为P(黑)=0.3，白色的出现概率P(白)=0.7。 (1) 假设图上黑白消息出现前后没有关联，求熵H(X)； (2) 假设消息前后有关联，其依赖关系为P(白/白)=0.9，P(黑/白)=0.1， P(白/黑)=0.2，P(黑/黑)=0.8，求此一阶马尔可夫信源的熵H2 (X)； (3) 分别求上述两种信源的剩余度，比较大小，并说明其物理意义。 作业 [1] Kolmogorov A N.Logical Basics for Information Theory and Probability Theory. IEEE Trans on Inform Theory, 1968,Vol IT－14，No5， Sept 要求: 1、论文查找（交电子文档） 2、论文翻译（交电子文档） 3、论文讲解（交演示电子文档） * * * * * * * * * * * * * * * * * * * * * 波形信源 更一般地说，实际信源输出的消息常常是时间和取值都是连续的。 例如，语音信号X(t)、热噪声信号n(t)、场景图像信号X(x0,y0,t)等时间连续函数。 在某一固定时间t０，它们的可能取值又是连续的和随机的。 对于这种信源输出的消息，可用随机过程来描述。称这类信源为随机波形信源。 波形信源 分析一般随机波形信源比较复杂和困难。常见的随机波形信源输出的消息是时间、频带受限的随机过程。 根据取样定理，可以把这样的随机过程用一系列时间(或频率)域上离散的取样值来表示，而每个取样值都是连续型随机变量。 随机过程转换成时间(或频率)上离散的随机序列。在某种条件下可以转