第1章绪论课件2.ppt

狭义信息论体系结构 * * 信 息 论 与 编 码 Information Theory and Coding 1 目 录 第 1 章 绪 论 第 2 章 信源与信息熵 第 3 章 信道与信道容量 第 4 章 信息率失真函数 第 5 章 信源编码 第 6 章 信道编码 教学目标 香农信息论的基本理论、概念和方法 – 信息的统计度量，离散信道和信道容量 编码的理论和实现原理 – 信源编码与信道编码 3 第一章 绪论 信息论的形成和发展 1.1 通信系统的基本模型 1.2 6 客观世界三大基本要素： 物质、能量、信息 没有物质什么都不存在 没有能量什么都不发生 没有信息什么都没意义 7 信息科学 人们在自然和社会活动中，获取信息并对其进行 传输、交换、处理、检测、识别、存储、显示等操 作。研究这方面的科学就是信息科学。 信息论 是信息科学的主要理论基础之一。它研究信息的 基本理论，主要研究可能性和存在性问题，为具体实 现提供理论基础。 信息技术 主要研究如何实现、怎样实现的问题。 8 1.1 信息论的形成和发展 信息论的奠基人 —— 香农 Claude.E.Shannon 美国科学家 (1916-2001) 中文译名： 山农，香农，仙农，商农 9 “ 通信的基本问题就是在一点重新准 确地或近似地再现另一点所选择的消 息 ” 。 这是数学家香农在他的惊世之著 《通信的数学理论》中的一句铭言。 香农应用数理统计的方法来研究通信系 统，从而创立了影响深远的信息论。 10 香农， 1916 年生于美国密执安州的加洛德。在大学中就表现出 了对数理问题的高度敏感。硕士论文是关于布尔代数在逻辑开 关理论中的应用。后来就职于贝尔电话研究所。在这个世界上 最大的通信公司 ( 美国电话电报公司 ) 的研究基地里，他受着前辈 的工作的启示，其中最具代表性的是奈奎斯特的《影响电报速 率的一些因素》和哈特莱的《信息的传输》。正是他们最早研 究了通信系统的信息传输能力，提出了信息量的概念，并试图 用教学公式予以描述。香农则创造性地继承了他们的事业，在 信息论的领域中钻研了 8 年之久，终于在 1948 年也在《贝尔系统 技术杂志》上发表了长篇论著《通信的数学理论》。次年，又 在同一杂志上发表了另一篇名著《噪声下的通信》。 11 在这两篇文章中，香农解决了过去许多悬而未决的问题：经 典地阐明了通信的基本问题，提出了通信系统的模型，给出 了信息量的数学表达式，解决了信道容量、信源统计特性、 信源编码、信道编码等有关精确地传送通信符号的基本技术 问题。 香农的成就轰动了世界，激起了人们对信息论的巨大热情, 它向各门学科冲击,研究规模像滚雪球一样越来越大。不仅 在电子学的其他领域,如计算机、自动控制等方面大显身手, 而且遍及物理学、化学、生物学、心理学、医学、经济学、 人类学、语音学、统计学、管理学……等学科。它已远远地 突破了香农本人所研究和意料的范畴,即从香农的所谓“狭 义信息论”发展到了“广义信息论”。 12 1924 年，奈奎斯特（ Nyquist ）解释了 信号带宽和信 息速率之间的关系。 息的能力，给出了 信息度量方法。 1936 年，阿姆斯特朗（ Armstrong ）提出了 增大带宽 可以使抗干扰能力加强。 1939 年，达得利（ Dudley ） 发明了带通 声码器 ，指 出通信所需带宽至少同待传送消息的带宽应该一样。 13 1928 年，哈特利（ Hartley ） 研究了通信系统传输信 1941 - 1948 年，香农（ Shannon ）揭示通信系统传递 的对象就是信息，并对信息给以科学的定量描述。提 出了信息熵的概念。并指出通信系统的中心问题是在 噪声下如何有效而可靠地传送信息，实现这一目标的 主要方法是编码。 40 年代初，维纳（ Wiener ）提出了在干扰作用下的 信息最佳滤波理论，成为信息论的一个重要分支。 50 年代，信息论在学术界引起了巨大反响。 1951 年，美国无线电工程师协会（ IRE ）成立了信息论 组，并于 1955 年正式出版了信息论汇刊。 14 1952 年，费诺 (Fano) 编码和哈夫曼 (Huffman) 编码。 1954 年， P.Elias 提出了卷积码。 1959 年，香农发表了 “ 保真度准则下的离散信源编码 定理 ” ，系统地提出了信息率失真理论，为信源压缩编 码的研究奠定了理论基础。 60 年代，信道编码技术有了较大发展，使它成为信 息论的又一重要分支。 1