信息论的形成和发展.ppt

总学时： 48 理论课： 40 习题测试： 8 周学时： 6 8周课 本课主要介绍信息的基本概念，信息论研究的对象、目的和内容，信息论发展简史及现状。 介绍了信息论三个基本概念，信源熵、信道容量和信息论失真函数，以及相关的编码定理，信源编码、信道编码、安全编码。 目录 第一章 绪论§1.1 信息论的形成和发展 一、什么是信息 C.E.Shannon：信息就是一种消息 N.Wiener： 信息是人与外界相互作用的过程 中所交换的内容的名称 钟义信： 信息就是事物运动的状态和方式，就是 关于事物运动的千差万别的状态和方式知识。 C.E.Shannon针对人类的通信活动提出以下论点： （1）形式化假说：通信的基本问题是消息的接收端精确地或近似地复制发送端所挑选的消息。通常消息是有意义的，但通信的语义方面的问题与工程问题是无关的。 （2）非决定论：实际的消息总是可能发生的消息集合中挑选出来的，因此通信系统必须设计得对每一种选择都能工作，因为各种消息的选择是随机的，设计者事先无法知道什么时候会选择什么消息来传送。 （3）不确定性： 两种情况下有通信的需要，一是自己有某种的消息要告知对方，而估计对方“不知道”该消息；二是自己有某种“疑问”要询问对方，估计对方能作出一定的解答。 1) 狭义信息论：主要研究信息的测度、信道容量（信道的传输能力）、信源及信道的编码问题。这部分理论是Shannon信息论，也称基础信息论。 2)?一般信息论：也称为通信理论，主要研究信息传输的基本理论和通信的基本问题。 3)?广义信息论：除上述两方面的内容外，还包括所有与信息论有关的其它领域，如生物、遗传工程、经济、社会等领域。 1)? 通信的统计理论： 信息的度量： 确定信息的测度。 信源熵和信息速率：研究信源特性及其统计平均信息量,信源的信息速率。 信道容量：研究信道传输能力 2)? 各种信源的统计特性 文字的统计特性：文字的冗余度及可压缩性; 语言的统计特性：语音的统计特性及可压缩性; 图象的统计特性：图象的处理,图象的压缩格式; 二元信源的统计特性：二元信息的压缩算法。 有效性编码：压缩信源的冗余,从而提高信息 的传输效率,主要是针对信源的 统计性进行编码,故也称为信源 编码。 另: 3、信息的传输效率和利用率，扩频、频带压缩、 码分复用、宽带高速信道； 4、抗干扰理论及相关技术调幅、调频； 5、噪声中信号检测理论及技术； 6、生物感官特性，听觉特性，视觉特性 脑思维特性的研究； 7、与其它学科有关的，研究生物医学的关 系、光学的关系等。 五、 信息、消息、信号、数据及其区别 1）信息：（香农）信息是事物运动状态或存在方式 的不确定性的描述。 2）消息：用文字、符号、数据、语言、音符、图片、图象等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来就成为消息。消息是信息的载体 。但不是物理的。 3）信号：把消息换成适合信道传输的物理量（如：电信号，光信号，声信号，生物信号 等）。这种物理量称为信号。是消息的载 体。 4）数据：载有信息的可观测、可传输、可存储、 可处理的信号。 按信息的传递方向分类：前馈信息和反馈信息； §1.2通信系统的模型 1）基本的通信系统模型  通信系统各部分的作用 信源：信源是产生消息的源，消息是信息的载体； 信源输出的消息要多于一种，何时输出何种 消息是不确定的、随机的，但却是有规律 的。 信宿：信宿是消息传送的对象。 信道：信道是信号从信源传送到信宿的通路。 干扰源：整个通信系统中各种干扰的集中反映 （理想化的干扰源）。  信源编码：将信源的原始信息按一定的理论或工程要 求编成另一种消息形态（代码）。其作用是压缩 冗余度，提高通信系统传输消息的效率。 信道编码：在信源的代码上有目的地增加一些监督码 元，以达到检查或纠正信息传输过程中产生的错 误，提高信息传输的可靠性。 加密编码：并将信源的明文编码成密文，提高通信的 安全性。 解码（译码）：是编码的逆过程，译码有信源译码、 信道译码、解密译码。 3)信