n信息论zll1.ppt

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * §1.4 信息的性质 作为客观世界的第三要素， 与物质、能量相比，信息具 有特殊性质。 * §1.4 信息的性质 信息是无形的 不同于物质和能量，信息是看不见、摸不着、没有重量的基本要素。 信息是可以共享的 信息不受守恒定律的制约，是一种可以共享的重要的社会资源；信息的交流，不仅不会使信息持有者失去信息，还能获得新的信息 * §1.4 信息的性质 信息是无限的 物质和能量：资源有限; 事物总在运动和变化，信息永远在产生、更新、演变。 信息是可开发的 信息的开发：指信息的表示、存储、传输、处理和利用 信息是可度量的 事物运动的状态和方式可以描述和度量 * 第一章 绪论 1.1 信息的概念 1.2 信息的度量 1.3 信息的其它定义 1.4 信息的性质 1.5 主要研究内容 1.6 信源编码的发展简史 信息是用来消除不确定性的东西 不确定性的改变量 * §1.5 主要研究内容 五十多年来，信息理论的研究不断深入，成为研究广义信息系统一般规律的工程学科，主要目的： 提高信息系统的可靠性和有效性 实现系统的最优化 * §1.5 主要研究内容 Shannon 以通信系统为物理模型 研究信息的定量描述、编码 分析通信系统的有效性和可靠性问题 * §1.5 主要研究内容 信源 编码器 信道 译码器 信宿 干扰源 消息 信号 干扰 含噪信号 消息 通信系统模型 * §1.5 主要研究内容 信息论所研究的主要问题： 通信系统中消息传输过程中的一般规律 信源 发出信息的客观事物 信源的输出是消息或消息序列 信源的统计模型，信源的输出信息能力 * §1.5 主要研究内容 信道 存储、传输信号的物理媒介 信道中存在着干扰和误码 传输、存储信息的能力，即信道容量 * §1.5 主要研究内容 编码器 将信源输出消息转换成适合信息系统要求的信号的设备 实现从消息到信号的转换 信源输出的消息进入信道传输或存储 包括信源编码器和信道编码器 * §1.5 主要研究内容 信源编码器 选出适当码字以有效表示信源信息，使消息序列码率最低 目的：压缩数码率，提高系统有效性 信道编码器 使信道的容量能被充分利用 实现可靠通信 * §1.5 主要研究内容 译码器 编码器的逆过程 将信号转变（还原）为消息的设备 分为信源译码器和信道译码器 * §1.5 主要研究内容 编码器和译码器的主要研究问题： 如何使信源的消息被最有效地表达 如何充分利用信道的容量，可靠通信 编译码方法是否存在 信源和信道的编码定理 * §1.5 主要研究内容 信宿 指消息的接收者 即接收消息的人或设备 通信的基本目的： 在接收端（信宿）准确地或近似地再现从另一端（信源）选择出来的消息 * 信息系统研究的基本问题 信源、信道及其编码问题 信息论研究的基本任务 为设计有效、可靠的信息 系统提供理论依据 * §1.5 主要研究内容 信息系统研究的基本问题： 信源、信道及其编码问题 信息论研究的基本任务： 为设计有效、可靠的信息系统提供理论依据 * §1.5 主要研究内容 主要涉及一般的通信系统 讨论Shannon 信息理论基本概念 学习信源编码的原理和基本方法 * 第一章 绪论 1.1 信息的概念 1.2 信息的度量 1.3 信息的其它定义 1.4 信息的性质 1.5 主要研究内容 1.6 发展简史 信息是用来消除不确定性的东西 不确定性的改变量 * 1832年电报系统中的莫尔斯(Morse)码； §1.6 发展简史 20世纪20年代，将图象编码用于伦敦和纽约之 间经海底电缆传递数字化报纸的图片； 1938、1946及1952年贝尔公司的C.C.Cuter分别取 得了脉冲编码调制（PCM）、增量调制（ΔM）和 差分脉冲编码调制(DPCM）的专利； * §1.6 发展简史 1939年美国贝尔实验室的达德利(H.Dudley)发明的声码器，成为第一个语音压缩系统； 1952年D.A.Huffman提出了Huffman编码； 1968年H.C.Andrews提出了变换编码； 1973年A.Habibi提出了混合编码方法； 1976年J.Rissanen提出了算术编码的概念，80年代开始走向实用； * 1977年以色列研究人员J.Ziv和A.Lempel提出了LZ 编码，1978年又进行了改进，成为LZ78算法； 1984年T.A.Welch修正了LZ78算法，称为LZW算法。 该算法广泛应用于计算机文件压缩系统中。 §1.6 发展简史 八十年代以后，信源编码研究和应用发展迅猛，ISO、IEC