差错控制编码3章 离散信源.ppt

剩余度 【熵的相对率的定义】信源实际的信息熵与具有同样符号集的最大熵的比值，也称为相对熵率或信源效率。 【剩余度的定义】剩余度，也称冗余度，或多余度——1减去相对熵率所得之差。 剩余度产生的原因 信源符号分布的不均匀性。 当信源发出符号之间相互统计独立，不存在统计依赖关系，并等概率分布时信源熵最大，每发一个符号提供最大的平均信息量。而实际应用中大多是不均匀分布，使得实际熵减小。 剩余度和熵的关系 剩余度R越大，实际熵H∞越小。说明信源符号之间的依赖关系越强，即符号之间的记忆长度越长。 剩余度和熵的关系 剩余度R越小，表明信源符号之间依赖关系越弱，即符号之间的记忆长度越短。 剩余度和熵的关系 当剩余度等于零时，信源的信息熵就等于最大值H0，这表明信源符号之间不但统计独立无记忆，而且各符号还是等概率分布。 【剩余度的物理意义】剩余度R表示给定信源在实际发出消息时所包含的多余信息，是衡量离散平稳有记忆信源符号间依赖程度大小的尺度。 剩余度的物理意义 在实际通信系统中，从提高信息传输效率（通信的有效性）的角度出发，总是希望减少或消除剩余度，往往需要把信源的大量冗余进行压缩，这是信源编码的作用。 【举例－1】 在发中文电报时，为了节约经费和时间，总是设法在能表达自己基本意思的前提下，尽量把电文写得简短些。 比如把“中华人民共和国”压缩成“中国”，可以将电文的剩余度大大减小，通信的有效性也随之提高。 剩余度的物理意义 从提高信息抗干扰能力（通信的可靠性）来看，总是希望信源增加或保留一定的剩余度。因此在传输之前通常加入某些特殊的剩余度，这是信道编码。 在通信系统中，除了在传输或恢复信息时所必须的最少消息外，其他的符号或系统都是剩余的。 【举例】 要求传送两个可能的消息“是”、“否” ，用编码“++---”、“+-+-+”，这个信源的剩余度就很高，因为同样的消息只需用“+”和“-”来表示即可。 剩余度的物理意义 剩余度的用途 剩余度大的消息具有强的抗干扰能力。 当干扰使消息在传输过程中出现错误时，能通过前后字之间的关联关系纠正错误。 【举例】 收到电文“×华人民×和国”，很容易纠正为“中华人民共和国”。 若发的是压缩后的电文“中国”，而接收端收到的是“×国”，就不知道电文是“中国”、“美国”、“英国”还是“德国”。 若收到的电文是“中×”，则原文有可能是“中国”、“中立”、“中心”…… 剩余度的物理意义 从提高抗干扰能力角度出发，总希望增加或保留信源的剩余度。 例3-13 设有一个二进制二阶马尔可夫信源，其信源符号集为{0, 1}，条件概率为 p(0 | 00) = p(1 | 11) = 0.8 p(1 | 00) = p(0 | 11) = 0.2 p(0 | 01) = p(0 | 10) = p(1 | 01) = p(1 | 10) = 0.5 试判断这个信源是否为平稳马尔可夫信源。 解： 平稳马尔可夫信源的熵 m阶平稳马尔可夫信源的熵是在知道了已经出现的m个符号的条件下，信源符号带有的信息量的平均值，换句话说，平稳马尔可夫信源的熵实际上是一个条件熵 （3-16） 如果 则有： 解方程可以求得各个p(Sj) Phase 1 Phase 2 Phase 3 判断是否为平稳马尔可夫信源。 对平稳马尔可夫信源，求出状态的平稳分布 根据公式（3-16）求得马尔可夫信源的熵。 例3-14 接例3-13，求该平稳马尔可夫信源的熵。 解：例3-13中已经求出该信源为平稳信源。 设S = [p(00) p(01) p(10) p(11)]，有 解得 因此信源熵 对无限记忆信源，记忆长度无限，此时的熵叫做极限熵 极限熵又叫做实际熵,P40 即当前符号实际上能够带给我们的信息量。 3.5 离散平稳信源 如果信源输出各个符号的概率与时间无关，即 则称此信源为一维平稳信源。 如果信源输出长度为N的符号序列的概率与时间无关，即 则称此信源为N维平稳信源。 平稳信源的熵 平稳信源输出的长度为N的符号序列的联合熵为 长度为N的信源符号序列中平均每个符号所携带的信息量为平均符号熵，即 设信源符号序列之间的记忆长度为N，若已知前面N?1个符号，则第N个符号所携带的平均信息量为条件熵，即 性质 1. 性质1的含义是：我们知道的条件越多，越容易判断事件的结果 2. 3. 4. 性质2、3、4说明，当平稳信源输出的符号序列长度达到无限大时，平均符号熵HN(X)和条件熵H(XN | X1X2…XN?1)都非递增地收敛于平稳信源的极限熵。 3.6 信源的相关性和剩余度相关性 H(XN|X1,…, XN-1)≤H(XN-1|X1,