江苏科技大学信息论与编码课程小论文.doc

信息论与编码论文 0942826124 梅发同 在学过信息论与编码以后，对这方面内容已有了基础的了解。为了进行更深入的了解，我查阅了很多资料，我认为通信的根本问题是如何将信源输出的信息在接收端的信宿精确地或近似地复制出来，而这最重要的一步就是信源的编码，一个好的开端才能为以后的传输及接受、解码提供有利得条件。而我也对各种信源编码方式产生了浓厚的兴趣。 首先要了解什么是信源编码。为了减少信源输出符号序列中的剩余度、提高符号的平均信息量，对信源输出的符号序列所施行的变换。具体说，就是针对信源输出符号序列的统计特性来寻找某种方法，把信源输出符号序列变换为最短的码字序列，使后者的各码元所载荷的平均信息量最大，同时又能保证无失真地恢复原来的符号序列。 既然信源编码的基本目的是提高码字序列中码元的平均信息量，那么，一切旨在减少剩余度而对信源输出符号序列所施行的变换或处理，都可以在这种意义下归入信源编码的范畴，例如过滤、预测、域变换和数据压缩等。一般来说，减少信源输出符号序列中的剩余度、提高符号平均信息量的基本途径有两个：①使序列中的各个符号尽可能地互相独立；②使序列中各个符号的出现概率尽可能地相等。前者称为解除相关性，后者称为概率均匀化。 符号概率p 累加概率P -logp 码字长度Ki 码字 a 0.32 0 1.64 2 00 b 0.22 0.32 2.18 3 010 c 0.18 0.54 2.47 3 100 d 0.16 0.72 2.64 3 101 e 0.08 0.88 3.64 4 1110 f 0.04 0.96 4.64 5 11110 信源的平均码长为：K=∑p*Ki=2.84码元/符号 编码效率：η=H（X）/K=82.8% 用费诺码编码方式： 费诺码编码过程 信源符号ai 各个消息概率pi 第一次分组 第二次分组 第三次分组 第四次分组 二元码字 码长Ki a 0.32 0 0 00 2 b 0.22 1 01 2 c 0.18 1 0 10 2 d 0.16 1 0 110 3 e 0.08 1 0 1110 4 f 0.04 1 1111 4 信源的平均码长为：K=∑p*Ki=2.4码元/符号 编码效率：η=H（X）/K=98.0% 哈夫曼码编码方式： 哈夫曼编码过程 信源符号ai 各个消息概率pi 编码过程 码字 码长Ki a 0.32 00 2 b 0.22 10 2 c 0.18 11 2 d 0.16 010 3 e 0.08 0110 4 f 0.04 0111 4 信源的平均码长为：K=∑p*Ki=2.4码元/符号 编码效率：η=H（X）/K=98.0% 由此可见，哈夫曼编码方式可以算是最佳的编码方式。 在经过长达10周的信息论与编码的学习之后，让我对我所学的专业从感性的认识上升到了理性的认识，也更促进了我对通信传播的认识与学习，让我有了很多收获。