信息论基础 教学课件 作者 田宝玉 杨洁 贺志强 王晓湘 chapter5.ppt

第五章 无失真信源编码 －－北京邮电大学 信息工程学院 证： 我们先证明（5. 2. 3）式。 设信源符号集 为 ， 各符号出现的概率分别为 ， 为长度为 的序列， 为 中符号 出现的次数。 将信源序列按下列原则分成两 ： 、 ，其中， ： （5. 2.4） ： 其它} 根据大数定律，当序列足够长时，信源符号 出现的次数接近 。因此， 中的序列的符号出 现的次数符合大数定律，称典型序列。 从（5. 2. 4）中可以看出， 随 的不同而改变。 设 ，则对于 中的信源符号 ，有 或 ，其中 由于信源是无记忆的，所以 的概率为 ＝ ， 的自信息负值为： 所以 选择 ，使得 （5. 2. 5） 则式（5. 2. 3）成立。 下面证明定理的后半部分。设 ， 根据（5. 2. 3）式，有 （5. 2.6） 因为信源是无记忆的，所以 ， 得到 （5. 2. 7） 将（5. 2. 7）代入（5. 2. 6），得 （5. 2. 8） 令 , 可得 , 所以 根据Chebyshev不等式： ，其中 为随机变量；这样就得到： （5. 2. 9） 其中 ， ， 所以， （5. 2. 10） 其中，自信息的方差 （5. 2. 11） 取 ，则当 ， (1)证明不等式前半部 (2)证明不等式后半部 得到 平均码长 为平稳分布的概率， 为在 每一个状态编 码的平均码长 信源的熵 比特 编码效率 如果利用平稳分布编码结果为： 用状态编码比利用平稳分布编码效率高。 把信源的 N个符号合并成一个新符号再编码，会使编码效率提高。游程编码可使一阶马氏链的游程序列变为独立序列。 编码序列的特性 R的最大限制： 编码符号独立且编码符号等概率 无失真信源编码所采取的主要措施 (1)概率匹配（Huffman编码等）使编码符号等概率 (2)解除相关性，使信源变成无记忆 无失真信源编码的限制 典型序列个数估计 ，若