北邮杨鸿文老师通信原理讲义-3北邮杨鸿文老师通信原理讲义-3.pdf

清北启航 北京邮电大学电信工程学院 《通信原理II》 Lecture Notes-1-2006/02/14 信源的剩余度（冗余度） 信源的输出是一个随机序列{X 1, X 2 , ,X L , }。不妨假设这是一个平稳序列，并假设 的样本空间是大小为N 的有限集合，也就是说 是N 进制的 X X 。 i i 考虑这个信源的二进制表示问题。最简单的方法是把每个符号表示为log2 N 个比特。 这个值叫H X 。 0 ( ) 如果信源不等概，熵一定比log2 N 小，就是说有办法把信源表示成二进制比特流，使 得平均每个符号最少只需要H X 个比特。记这个值为H X 。 ( ) ( ) i 1 如果已知序列之间存在相关性，则实际每符号的信息还要少。如果当前符号X k 和前一 符号X 相关，则当前符号新增加的信息量只是H X | X ，这个记为H X 。显然 k −1 ( k k −1 ) 2 ( ) H X ≤H X 。如果当前符号X 和除前一符号X 有关外，还和前前一个符号X 相 2 ( ) 1 ( ) k k −1 k −2 关，则当前符号新增加的信息量只是H X | X ,X ，这个记为H X 。显然 ( k k −1 k −2 ) 3 ( ) H X ≤H X 。如此无穷下去，如果我们知道过去无穷时间内的符号和当前符号的相 3 ( ) 2 ( ) 关性，则当前符号新增加的信息量是 H X li =≤≤ ≤ ≤ m H X | X , , X H X H X H X ∞ ( ) ( L L −1 1 ) 2 ( ) 1 ( ) 0 ( ) L →∞ 对于 L 个符号，其总信息量是H (X , X , ,X )，平均到每个符号的信息量是 1 2 L 1 ,X , ,X 果 是无穷大，则平均每符号的信息量就是每一个符号新增加的 H (X 1 2 L )。如 L L 信息量，即有 1 lim H X , X , , X lim H X lim H X | X , , X H X ( 1 2 L ) ∞ ( ) ( L L −1 1 ) ∞ ( ) L →∞ L L →∞ L →∞ 这就是(7.3.19)式。它可以严格证明（证明从略）。 一个无限长信源序列真正包含的信息量每符号只有H X