信息论基础 教学课件 作者 田宝玉 杨洁 贺志强 王晓湘 chapter3.ppt

3.1.2 离散无记忆信源的数学模型 ▲ 单符号离散无记忆信源的数学模型： 3.1.2 离散无记忆信源的数学模型 离散马尔可夫信源 对于遍历马氏链，无论初始分布如何，当转移步数足够大时，状态概率分布总是趋于稳定值，与初始状态概率分布无关。 几点注释： 1)定理3.5.2给出了马氏源符号熵的计算方法： 先求每个状态下的条件符号熵，再用状态的概 率平均； 2)计算符号熵要用状态的平稳分布； 3)单位为比特/符号。 信源的相关性就是信源符号间的依赖程度。设信源有m个符号，那末对于不同情况可以分别计算信源的熵为： （符号独立等概） （独立信源） （一阶马氏源） （n-1阶马氏源） 由平稳性与熵的不增原理，有： 可见，符号相关程度越大，熵越小，反之亦然。 为描述信源的相关性，引入信源效率和剩 余度的概念。 信源效率 信源剩余度 1 离散信源X的N次扩展源的熵 ，仅当信源无记忆时等式成立； 离散信源X的N次扩展源的平均符号熵 ，仅当信源无记忆时等式成立。 2．有记忆信源的符号熵： 并且 3．马氏源的符号熵： 其中 ， 4．信源剩余度 设独立随机序列 ， ， ， ， 随机序列 与 的关系为 其中 为模2加；问：（1）随机序列 是否为马氏链？（2）如果是马氏链，那么求状态转移概率并画状态转移概率图。 3.5.2 例 3.5.2 马氏源的产生模型(2) 解： 3.5.2 马氏源的产生模型(3) 序列 为有记忆序列，在n时刻的取值仅与n-1时刻与n-2时刻有关，而与以前的时间无关，因此 构成二阶马氏链。 有一个二元马氏链X，符号集为{0，1}，其中符号转移概率为 ， ；计算该信源三次扩展源的所有符号的概率。 3.5.3 例 3.5.3 马氏链N次扩展源的熵的计算(1) 解： 首先求平稳分布 3.5.3 马氏链N次扩展源的熵的计算(2) 类似得到 做映射 ，i = 0,…,N-m，其中i为时间标号，j为状态序号。 H(X1X2…XN) = H(Sm+1Sm+2…SN+1) 其中，Si=Xi-mXi-m+1…Xi-1 利用熵的可加性，将上式展开，并利用马氏性得 H(X1X2…XN) = H(Sm+1)+ H(Sm+2/Sm+1)+…+H(SN+1 /Sm+1Sm+2…SN) 3.5.3 马氏链N次扩展源的熵的计算(3) = H(Sm+1)+ H(Sm+2/Sm+1)+…+H(SN+1 /SN) = H(Sm+1)+ 3.5.3 马氏链N次扩展源的熵的计算(4) 该项由状态转移概率矩阵[P]的第j行所确定。写成矩阵形式 其中， ,为第i状态概率分布行矢量; ,为行矢量,其中每个元素由[P]的每一行所确定。 3.5.3 马氏链N次扩展源的熵的计算(5) ▲ 如果起始状态概率为平稳分布, 则 ▲ N次扩展源的平均符号熵为: 3.5.3 马氏链N次扩展源的熵的计算(6) ▲ 当信源从某一状态转移到另一状态时, 输出符号唯一, 则一个m阶马氏源的符号熵为: ▲ m阶马氏源符号熵仅由平稳分布和状态转移概率矩阵所决定。 3.5.4 马氏源符号熵的计算(1) 计算方法1： ▲ 当信源从某一状态转移到另一个新状态时，存在多个信源序列对应一个状态。这样由状态转移概率矩阵不能确定信源的熵，而只能以状态条件下信源的输出符号的概率求信源的熵。 ▲ 给定当前信源状态条件下信源的输出符号熵为： 计算方法2： 3.5.4 马氏源符号熵的计算(2) ▲ 在给定某特殊状态s1=j和以前的输出X1,X2,…Xm-1条件下当前输出符号Xm的熵满足： 对S1取平均 引理3.5.1： 3.5.4 马氏源符号熵的计算(3) 对于平稳信源，状态概率与时间起点无关，所以 对于m阶平稳马氏源的符号熵为