第2章_信源及其信息量.ppt

第*页 * ① 把英语看成是离散无记忆信源 如果不考虑符号间的依赖关系，近似认为信源是离散无记忆的，则： 按概率分布，随机地选择英语字母并排列起来，得到一个输出序列： AI_NGAE_ITE_NNR_ASAEV_OTE_BAINTHA_HYROO_PORE_SETRYGAIETRWCO_EHDUARU_EUEU_C_FT_NSREM_DIY_EESE_F_O_SRIS_R_UNNASHOR… 序列看起来有点像英语，但不是。实际英语的某个字母出现后，后面的字母并非完全随机出现，而是满足一定关系的条件概率分布。例如 T 后面出现 H，R 的可能性较大，出现 J，K，M，N 的可能性极小，而根本不会出现 Q，F，X。即英语字母之间有强烈的依赖性。上述序列仅考虑了字母出现的概率，忽略了依赖关系。 2.6 信 源 相 关 性 与 冗 余 度 第*页 * ② 把英语看成马尔可夫信源 为了进一步逼近实际情况，可把英语信源近似看做 1阶，2 阶，…∞ 阶马尔可夫信源，它们的熵为： H2=3.32(比特/符号) H3=3.1(比特/符号) 若把英语信源近似成 2 阶马尔可夫信源，可得到某个输出序列： IANKS_CAN_OU_ANG_RLER_THTTED_OF_TO_SHOR_OF_TO_HAVEMEM_A_I_MAND_AND_BUT_WHISS_ITABLY_THERVEREER… 序列中被空格分开的两字母或三字母，组成的大都是有意义的英语单词，而四个以上字母组成的“单词”，很难从英语词典中查到。因为该序列仅考虑了3个以下字母之间的依赖关系。实际英语字母之间的关系延伸到更多的符号，单词之间也有依赖关系。 2.6 信 源 相 关 性 与 冗 余 度 第*页 * ③ 重要结论 写英语文章时，71% 是由语言结构定好的，只有 29% 是写文字的人可以自由选择的。100 页的书，大约只传输 29 页就可以了，其余 71 页可以压缩掉。信息的冗余度表示信源可压缩的程度。 从提高传输效率的观点出发，总是希望减少或去掉冗余度。 冗余度大的消息抗干扰能力强。能通过前后字之间的关联纠正错误。 听母语广播和听外语广播的对比：听外语费劲是英语冗余度不够造成的。因此，英语听力要过关，除了多听多练以外，并无多少捷径可走。 有依赖关系的字母数越多，即马尔可夫信源的阶数越高，输出的序列就越接近于实际情况。当依赖关系延伸到无穷远时，信源输出的就是真正的英语，此时可求出马尔可夫的极限熵 H∞ =1.4（比特/符号） ② 把英语看成马尔可夫信源 2.6 信 源 相 关 性 与 冗 余 度 * 当已用某种方式取得 Y 后，不管怎样对 Y 进行处理，所获得的信息不会超过 I(X;Y)。 每处理一次，只会使信息量减少，至多不变。 即在任何信息流通系统中，最后获得的信息量，至多是信源提供的信息。 一旦在某一过程中丢失了一些信息，以后的系统不管怎样处理，如果不能接触到丢失信息的输入端，就不能再恢复已丢失的信息。 * 第*页 * ① m 阶马尔可夫信源 m 阶马尔可夫信源数学模型：m 阶有记忆离散信源的数学模型可由一组信源符号集和一组条件概率确定： 一阶马尔可夫信源：当 m=1 时，任何时刻信源符号发生的概率只与前面一个符号有关。 m 阶马尔可夫信源的条件概率（考虑其平稳性） 2.4 马 尔 可 夫 信 源 的 熵 第*页 * ① m 阶马尔可夫信源 若条件概率与时间起点无关，则信源输出的符号序列可看成齐次Markov信源。 当信源符号 xki出现后，就会转入一个新的状态，状态的转移可用状态转移概率来表示 经过 n-m 步后转移至状态 ej 的概率用状态转移概率 表示： 当 n-m=1 时，将 pij (m,m+1) 记为 pij (m)，称为基本转移概率，也称一步转移概率。 2.4 马 尔 可 夫 信 源 的 熵 转移概率的性质： 第*页 * ① m 阶马尔可夫信源 对于齐次Markov链，转移概率具有推移不变性，即只与状态有关，与时刻无关，转移概率表示为：pij (m) = pij 转移概率的性质： k步转移概率为： k步转移概率 pij(k) 与 l 步和 k-l 步转移概率之间满足切普曼-柯尔莫郭洛夫方程。 2.4 马 尔 可 夫 信 源 的 熵 注意：平稳与齐次的关系 第*页 * ① m 阶马尔可夫信源 当 l=1 时， 用矩阵表示 对于齐次马尔可夫链，一 步转移概率完全决定了k步转移概率。 研究 若极限存在，且等于一个与起始状态 i 无关的，被称为稳态分布的 Wj = P。 则无论起始状态如何，此马尔可夫链可