第3章-无失真信源编码.ppt

第3章 无失真信源编码 第1节 几个概念 第2节 单义可译码 第3节 非延长码及其构造 第4节 单义可译性定理 第5节 编码长度和编码效率 第6节 平均码长的界限定理 第7节 Huffman编码 第8节 香农编码 第9节 费诺编码 第10节 行程编码 Lemple_Ziv编码 第1节 几个概念 第1节 几个概念 第1节 几个概念 第2节 单义可译码 第2节 单义可译码 第2节 单义可译码 第2节 单义可译码 第2节 单义可译码 第2节 单义可译码 第3节 非延长码及其构成 第3节 非延长码及其构成 第3节 非延长码及其构成 第3节 非延长码及其构成 第4节 单义可译定理 第4节 单义可译定理 第4节 单义可译定理 第4节 单义可译定理 第4节 单义可译定理 第4节 单义可译定理 第5节 平均码长与编码有效性 第5节 平均码长与编码有效性 第5节 平均码长与编码有效性 第5节 平均码长与编码有效性 第5节 平均码长与编码有效性 第5节 平均码长与编码有效性 作业： 第6节 平均码长的界限定理 第6节 平均码长的界限定理 第6节 平均码长的界限定理 第6节 平均码长的界限定理 第6节 平均码长的界限定理 第6节 平均码长的界限定理 第6节 平均码长的界限定理 第6节 平均码长的界限定理 第6节 平均码长的界限定理 第7节 Huffman 编码 第7节 Huffman 编码 第7节 Huffman 编码 第7节 Huffman 编码 第7节 Huffman 编码 第7节 Huffman 编码 第7节 Huffman 编码 第7节 Huffman 编码 第7节 Huffman 编码 第7节 Huffman 编码 第7节 Huffman 编码 第7节 Huffman 编码 第7节 Huffman 编码 第7节 Huffman 编码 第7节 Huffman 编码 第7节 Huffman 编码 第7节 Huffman 编码 第7节 Huffman 编码 第7节 Huffman 编码 第7节 Huffman 编码 第7节 Huffman 编码 第7节 Huffman 编码 第7节 Huffman 编码 第7节 Huffman 编码 第7节 Huffman 编码 第7节 Huffman 编码 第7节 Huffman 编码 第7节 Huffman 编码 作业： 第8节 香农编码 第8节 香农编码 第8节 香农编码 第8节 香农编码 第8节 香农编码 第8节 香农编码 第8节 香农编码 第9节 费诺编码 第9节 费诺编码 第9节 费诺编码 作业 第11节 游程（行程）编码 平均码字长度 5、扩展信源符号编码 一种更有效的编码方法是同时对N个信源符号进行编码。 例：考虑一个信源，各符号及相应的概率如下所示，信道符号集为X＝{0，1} 01 00 1 码字 2 2.0000 0.25 s3 2 1.5146 0.35 s2 1 1.3219 0.40 s1 码字长度 自信量 概率 符号 信源的熵为： 平均码字长度为： 信息率 4 0000 3.3219 0.1000 s3 s1 3 111 3.3219 0.1000 s1 s3 3 011 3.0291 0.1225 s2s2 4 1101 4.0000 0.0625 s3 s3 4 1100 3.5146 0.0875 s3 s2 4 0001 3. 5146 0.0875 s2 s3 3 010 2.8365 0.1400 s2s1 001 10 码字 3 2.8365 0.1400 s1 s2 2 2.6439 0.1600 s1 s1 码字长度 自信量 概率 符号 如果同时对两个符号进行编码，其概率密度及Huffman编码如下图所示： 平均每个信源符号对应的信源码符号数 信息率 信源的熵为： 结论： 同时对N个符号进行编码，编码效率更高。 Huffman编码小结 1、二进制编码。 讨论：0，1互换时情况。 几个符号具有相同概率情况。 2、多进制情况。 3、扩展信源符号同时编码。 P410 T11 P409 T5 (1) (2)N=2 1、信源 按降序排列得到，因此该假设不失一般性。 假设 若不是可通过将符号 2、编码步骤 若对符号si编码，则按以下步骤进行： 1) 计算符号si的自信量，并求整数li，满足： 2) 计算 3) 将Pi用二进制表示，取小数点后的li为作为符号si的编码 例： 1111110 7 6.66 0.99 0.01 s7 1110 4 3.34 0.89 0.10 s6 101 3 2.74 0