无失真编码与保真度准则下的信源编码比较.doc

无失真编码与保真度准则下的信源编码比较 08电子信息工程（1）班 周小波 080703141 通信的根本问题是如何将信源输出的信息在接收端的信宿精确地或近似地复制出来。在通信过程中，如何在不失真或允许一定失真条件下，用尽可能少的符号来传送信源信息，提高信息传输率；在信道受干扰的情况下，如何增加信号的抗干扰能力，同时又使得信息传输率最大。若接收端信宿要求无失真地精确复制信源输出的消息，这种表示是一一对应的，即保证信源产生的全部信息无失真地传送给信宿，这时的信源编码是无失真编码。若接收端信宿不要求完全精确地恢复信源输出的信息，允许产生一定程度的失真，这是符合大多数实现情况的，这时的信源编码是有失真编码。对某类信源和信宿，首先要确定同信宿可接受的标准，称他为保真度准则，作为不完全精确复制的依据。 编码实质上是对信源的原始符号按一定的数学规则进行的一种变换。为了分析方便和突出问题的重点,当研究信源编码时,将信道编码和译码看成是信道的一部分,而突出信源编码。同样，研究信道编码时,将信源编码和译码看成是信源和信宿的一部分,而突出信道编码 由于无失真信源编码可以不考虑抗干扰问题，所以它的数学描述比较简单惟一可译性. 传播过程的一些微观理论，是由信息论来提出和完善的，信息论将以模糊的信息概念用数学概念加以定义，用数学方法加以定量化，它是传播学发展的一项重要理论基础。 香农的信息的概念与信息的量的多少是有关联的，信息被定义为Uncertainty不确定性的减少。 为了通讯实践的需要，哈特莱提出，从逻辑上讲，应该用对数单位来度量信息，单位是比特。而香农在这一认识的基础上，用概率论来测量信息的量。 客观世界中有这样的几种现象，一种是事物在一定条件下是必然发生或是必然不发生的，如水加热到一定沸点时会沸腾，这称为必然事件，或是人离开氧气能活下去则必然不会发生，这是不可能事件，这两种情况都具有确定性；而另一种现象则是在一定条件下，可能发生，也可能不发生，如抛起的硬币，落下时可能是“花”面朝上，也可能是“字”面朝上，这被称为随机时间，具有不确定性。计算随机时间发生的可能性大小的量就是概率。 必然发生的事件，即事件是确定的，概率为1，而不可能发生的事件，也具有确定性，概率为0，而随机事件的概率则是介于1和0之间的一个数。 事件是确定的，概率为1，如受者已经知道某件事，传者再对他们传递这件事的讯息所含信息量为0；而如果事件是不确定的，概率为0，受众对某件事一无所知，则传者向他们传递的讯息便含有无穷的信息量。即信息量和该事件发生的概率有相反的关系，成反比，信息量应该是事件概率的倒数的对数函数。 香农把信息量的公式称作不确定性的度量，信息量就是信息受者在收到信息后不确定性减少的数量，信息就是两次不定性之差。用符号表示就是：I=S（Q/X）-S（QX’）I代表信息，Q表示对某件事的疑问，S表示不定性，X为收到讯息前关于Q的知识，X’表示受到讯息后关于Q的知识。如果讯息的内容是原来就知道的，那么受者收到讯息后，就不会引起知识上的变化，即X=X’，不确定性没有减少和消除。如果讯息的内容是受者以前所不知道的，那么收到讯息后就会引起受者知识的变化，不确定性就有所减少成消除。 信源编码的分类 a、冗余度压缩编码，可逆压缩，经编译码后可以无失真地恢复。 统计特性：Huffman 编码，算术编码Arithmetic Coding b、熵压缩编码，不可逆压缩 压缩超过一定限度，必然带来失真 允许的失真越大，压缩的比例越大 译码时能按一定的失真容许度恢复，保留尽可能多的信息 离散信源无失真编码，包括定长、变长无失真编码定理和编码方法，以及几种实用的无失真信源编码，如香农编码、费诺编码、哈夫曼编码等。信源编码就是从信源符号到码符号的一种映射f，它把信源输出的符号ui变换成码元序列wi。f：ui——wi，i=1，2，…，q 译码是从码符号到信源符号的映射。若要实现无失真编码，这种映射必须是一一对应的、可逆的。 定长编码 假设离散无记忆信源为[U，PU]=[ui，P(ui)| i=1，2，…，q]，现要对U发出的N长符号序列进行编码。对信源U的N长符号序列进行r进制编码，实质上就是对扩展信源UN的单个符号进行编码，既可定长编码，也可变长编码。若用代表对UN编码所得的平均码长，则我们追求的是最小的码，这就引出了一个理论问题，平均码长可小到什么程度呢？对此问题，定长无失真编码定理和变长无失真编码定理都给予了明确的回答。只要可用的码字数不少于UN的符号数，即 就可做到惟一译码。将上式整理一下得 U的一个符号所需用去的码元数目/N以U的最大r进制熵为下界，再小就不能