第5章_无失真信源编码定理-2005-9技巧.ppt

第5章 无失真信源编码定理邹;通信的实质是信息的传输。 高;抗干扰能力与信息传输率二者相互;由于信源符号之间存在分布不均匀;信源编码常分为无失真信源编码和;无失真编码 无失真编码是可;5.1 编码器 ;一、编码器模型 ;输入是信源符号集: x为编码器;二、码的分类 ;(2) 等长码 ;(3) 变长码 ;(4)非奇异码 ;（5）奇异码 ;概率信源符号 编码1编码2编码;（6）同价码 若码;（7）码的N次扩展码 ;例如：若码 满足： ;例信源符号ai码字信源符号ai;（8）惟一可译码 ;例如：对于二元码 ;对惟一可译码又分为即时码和非即;信源符号ai符号出现概率p(a;信源符号ai符号出现概率p(a;了解;5.2 等长码 ;此式表明，只有当 长的码符;例： 英文电报有;例：对英文电报得32个符号进行;举例说明为什么每个信源符号平均;而其依赖关系为：传递矩阵理解;若不考虑符号间的依赖关系，可得;考虑到英文字母间的相关性，对信;5.4 等长信源编码定理信源;了解;定理中的公式改写成 不等式左边;最佳编码效率为：编码效率：编码;当允许错误概率小于δ时，信源符;例5-1：设离散无记忆信源求信;无标题;5.5 变长码5.5.1 ;5.5 变长码5.5.1 ;信源符号ai符号出现概率p(a;码2二次扩展掌握;掌握;掌握;5.5.2 即时码的树图构造;在下图中，当某一个节点被安排为;任一即时码都可用树图法来表示。;了解;5.5.3 克拉夫特（Kra;例：设二进制码树中X={ ;a1=1 0 ;注意：不满足克拉夫特不等式的码;5.5.4 唯一可译变长码的判;唯一可译码的判断方法将码C中所;集合F的构成方法：首先，观察码;然后再观察这些新的尾随后缀是否;例5.2：设码C={0，10，;所以，集合F={11，00，1;掌握;练习：设消息集合中共有7个消息;S0 S1 ;5.6 变长信源编码定理 ;设信源为 编码后的码字为 ;当信源给定时，信源的熵就确定(;对某一信源来说，若有一个唯一可;码字平均长度 不能小于;例掌握;掌握;了解;为了衡量各种编码，定义变长码的;例5-6:有一离散无记忆信源 ;解:(1) 用{0，1}对之进;作业P1965.3