信息论与编码知识梳理及课后答案教案.ppt

信息论与编码 贵州大学 彭长根 有关说明: 课程概述 当今的时代是一个信息的时代，信息处理技术的不断进步极大的影响了我们的生活，使我们的生活质量得到很大提高。 现代“信息”的概念，已经与半导体技术、微电子技术、计算机技术、通讯技术、网络技术、多媒体技术、信息服务业、信息产业、信息经济、信息化社会、信息管理等含义紧密地联系在一起。 信息技术(Information Technology，简称IT)是包括信息的采集、传递、处理、再生和使用等功能的技术。包括：信息获取技术、信息处理技术、信息传输技术、信息控制技术和信息应用技术。 信息科学是以信息为基本研究对象，以信息的运动规律和应用方法为主要研究内容，这是信息科学有别于一切传统科学最基本的特征。信息科学主要包括信息论和计算科学两部分，二者奠定了整个信息科技大厦的基石。 信息论源于统计理论和电信技术的发展，主要研究信息属性、信息度量、信息表示和信息传输。 20世纪40年代，香农（C.E.Shannon）提出了信息的统计定义，于1948年发表了信息论的奠基性论文《通信的数学理论》。由于香农对信息论的发展作出了巨大贡献，被认为是信息论的创始人。 计算科学是对描述和变换信息的算法过程，包括其理论、分析、设计、效率分析、实现和应用的系统的研究，是整个计算机技术、工程与应用的理论基础。从计算机角度讲，计算科学的本质就是数据变换。 计算科学与数学的关系很密切，数学是计算科学的主要基础，数学与电子科学构成了我们今天计算机系统的基础，也构成了计算科学的基础。但是，与数学相比，电子技术基础地位的重要性不及数学。 本课程将介绍信息科学的基础理论和基本方法，课程将基于一个通信系统的抽象数学模型进行展开，课程的数学基础为概率论。整个课程可分为基础理论和编码理论两部分组成 就狭义而言，在通信中对信息的表达分为三个层次：信号、消息、信息。 信号：是信息的物理表达层，是三个层次中最具体的层次。它是一个物理量，是一个载荷信息的实体，可测量、可描述、可显示。如电信号、光信号等。 消息：(或称为符号)是信息的数学表达层，它虽不是一个物理量，但是可以定量地加以描述，它是具体物理信号的进一步数学抽象。 信息：信息是信号与消息的更高表达层次。三个层次中，信号最具体，信息最抽象。它们三者之间的关系是哲学上的内涵与外延的关系。 信源：消息的来源 编码器：把消息变换成信号 信道：传递信号的媒介,在物理线路上划分的逻辑通道。 4）无失真信源编码，所需要的最少码符号数是多少？ 5）在有噪声信道中，有没有可能以接近信道容量的速率传输信息，而收端的错误概率几乎为零？ 6）如果信源编码时，允许一定的失真，那么信源编码所需要的最少码符号数又是多少？ 可靠性：就是要使信源发出的消息经过信道传输以后，尽可能准确地、不失真地再现在接收端。 有效性：用尽可能短的时间和尽可能少的设备来传送一定数量的信息。 必威体育官网网址性：就是隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。 认证性：是指接收者能正确判断所接收的消息的正确性和完整性，而不是伪造的和被篡改的。 连续 离散 半连续 按照携带信息的信号的性质 10 在众多的分类原则和方法中，最重要的就是按照信息性质的分类。 即： 按照性质的不同可以把信息划分成语法信息、语义信息和语用信息三个基本类型。其中最基本也是最抽象的类型是语法信息。也是迄今为止在理论上研究得最多的类型。香农研究的就是语法信息。 全信息 语法信息 语义信息 语用信息 离散信息 明晰信息 连续信息 模糊信息 语法信息考虑的是事物运动状态和变化方式的外在形式 。 当然，按照事物运动的方式，还可以把信息进一步细分为概率信息、偶发信息、确定信息和模糊信息。 香农信息论主要讨论的是语法信息中的概率信息，本书也以概率信息为主要研究对象。 §1.3 信息论的起源、发展及研究内容 信息论自诞生到现在不过50多年，在人类科学史上是相当短暂的。但它的发展和对学术界及人类社会的影响是相当广泛和深刻的。信息作为一种资源，如何开发、利用、共享，是人们普遍关心的问题。 起源 在人类历史的长河中，信息传输和传播手段经历了五次重大变革： 语言的产生。 文字的产生。 印刷术的发明。 电报、电话的发明。 计算机技术与通信技术相结 合，促进了网络通信的发展。 1 2 3 4 5 1924年，奈奎斯特（Harry Nyquist） (1889-1976)解释了信号带宽和信息速率之间的关系。 20世纪3