信息论与编码 第1章 ppt.ppt

电子科技大学 * 电子科技大学 信息论导论 通信与信息工程学院 第1章 概论 什么是信息(information)？ 什么是信息论(information theory, informatics)？ 什么是信息科学(information science)？ 一、信息的一般概念 1、古老而现代的话题 信息是一个古老而现代的话题。 说它现代，直到现在对信息也没有一个公认的定义。 说它古老，人类很早就有意识地传递信息；中国古代的烽火狼烟就是一个例子。 2、信息定义上的困惑 信息是事物之间的差异； 信息是能够用来消除随机不确定性的的东西； 信息是物质和能量在时间和空间中分布的不均匀性； 信息的各种定义： 信息是事物联系的普遍形式； …… 各种信息定义都从不同层次、不同侧面描述了信息的某些特征，但至今尚无一种定义能够为社会各界所一致接受。 3、本体论与认识论层次的信息概念 对信息可以从本体论和认识论两个层次上去理解。 本体论层次上的信息概念是广义的概念，可以将任何事物的运动状态及其变化方式都理解为信息。 例如花开果熟、鸟啼兽鸣等等都是信息。 从这个意义上讲，信息是一种客观存在，与我们主观是否感知到它没有关系。 认识论层次上的信息概念却引入了一个约束条件—认识主体，它只把那些认识主体所能感知的事物的状态及其变化方式才视为信息。 而那些认识主体感觉不出来的，或者感觉到了但不能理解的东西都不叫信息。 虽然认识论层次的信息概念层次要低一些，范围要窄一些，但其内涵更丰富。 由于认识主体具有感觉能力、理解能力和目的性，能够感知事物状态及其变化方式的外在形式、内在含义并能够判断其效用价值，因此在认识论层次研究信息时，一般要同时考虑到形式、含义和效用三个因素。 在认识论层次研究信息时，把只考虑到形式因素的部分称为语法信息； 4、语法信息、语义信息和语用信息 把只考虑到含义因素的部分称为语义信息；把只考虑到效用因素的部分称为语用信息。 显然，语义信息和语用信息涉及认识主体的主观因素。 目前，信息论中主要研究语法信息。 5、信息、消息(message)和信号(signal) 信息或者准确地说语法信息的数量描述始于美国科学家香农(C.E.Shannon)。 1948年，香农发表了“通信的数学理论”(A Mathematicsl Theory of Communication)，创立了信息论，开始对信息的数量化研究。 为理解香农用数量描述的信息，从最简单的通信系统谈起： 信源 信道 信宿 信源(source)是提供消息的人、机器或事物； 信宿(destination)是接收消息的人、机器或事物； 信道(channel)是传递消息的通道。 消息是由图像、声音、文字、数字等符号组成的序列。 消息的传递则有时需要借助于载体；如用纸写字并传递纸，纸就是载体。 承载消息的载体称为信号；现代最便于传输的信号是电信号和光信号，相应的信道如电缆、传输电磁波的空间和光缆等。 从通信的实质意义来讲，如果信宿收到的消息是已知的，则等于没有收到任何消息。 因此，人们更感兴趣的是消息中所包含的未知成分，用概率论的术语来讲，就是具有不确定性的成分，香农将该成分称为信息，并进行了数量描述。 三者的关系：通信系统传输的是信号，信号承载着消息，消息中的不确定成分是信息。 6、《辞海》对信息的解释： 信息是通信系统传输和处理的对象，泛指消息和信号的具体内容和意义。 信息的量值与信息的随机性有关，如在接收端预估消息或信号中所蕴含的内容或意义的可能性越小，信息量就越大。 二、信息论的研究内容 1、香农信息论的研究内容 香农在1948年的经典论文 “通信的数学理论” 中针对通信系统，阐明了几个重要而带有普遍意义的问题： ①通信系统传递的对象是信息，信息的度量问题，信息熵(entropy)的概念； 香农信息论也称为狭义信息论，研究从通信系统引出的基础理论问题。 ③信息压缩和无失真恢复的极限条件； ④信道容量(channel capacity)的概念，在给定信道中信息传输的极限问题。 ②在噪声下如何有效而可靠地传递信息，信源编码(source coding)和信道编码(channel coding)的概念； 在1959年所发表的“保真度准则下的离散信源编码定理”(Coding Theorems for a Discrete Source at the Fidelity Criterion)中， 香农系统提出了信息率失真理论 (rate-distortion theory)，给出了在一定允许失真条件下信息压缩和恢复的极限条件。 1961年，香农的 “双路通信信道” (Two-Wag Communication Channels) 一文又将信息论拓展到了多用户领域。 从1951年美国无