信息论基础与应用（第2版）全套教学课件.pptx

;它是C.E.Shannon四十年代末期，以客观概率信息为研究对象，从通信的信息传输问题中总结和开拓出来的理论。 ;信息的重要性 课程介绍 主要内容 教学方式 考核方式 ;信息的重要性;信息的重要性-信息传输方式的变迁;信息的重要性-信息传输方式的变迁;信息的重要性-信息传输方式的变迁;信息的重要性-信息传输方式的变迁;信息的重要性-信息传输方式的变迁;信息的重要性-信息传输方式的变迁;信息的重要性 课程介绍 主要内容 教学方式 考核方式 ;课程介绍;课程介绍;课程介绍;教 材;信息的重要性 课程介绍 主要内容 教学方式 考核方式 ;课程主要内容;信息的重要性 课程介绍 主要内容 教学方式 考核方式 ;教学目标;要 求: ;考核方式;1.2《信息的概念》;23;24;1 信息的定义;1 信息的定义;1 信息的定义;; 信息是人类生存和发展的 基本条件与基本需求。 ; 1928年，美国数学家哈特莱 (Hartley)在《贝尔系统电话杂志》上发表了一篇题为《信息传输》的论文。他认为“信息是选择的自由度”。 ; 1948年，美国数学家、控制论的主要奠基人维纳(Wiener）在《控制论与社会》一书中写到：“信息既不是物质又不是能量，信息就是信息”。揭示了信息的特性：信息是独立于物质和能量之外存在于客观世界的第三要素。 ; 1948年，美国数学家香农 (C. E. Shannon) 在《贝尔系统电话杂志》发表了题为《通信的数学理论》的长篇论文。他创立了信息论，认为“信息是事物运动状态或存在方式的不确定性的描述”。;2 信息的度量;2 信息的度量;2 信息的度量;2 信息的度量;2 信息的度量;3 信息论的应用;3 信息论的应用;3 信息论的应用;3 信息论的应用;小结;思考题;1.3 信息论研究的主要内容 ;信息论产生背景;二、 信息论研究的主要内容;通信系统模型;(1)信源——产生消息和消息序列的源泉 ——可以是人、生物、机器或其他事物 ——是事物各种运动状态或存在状态的集合 消息——信源的输出 消息——具体，如：语音、图像、文字等 信息——抽象;(2)编码器——信源编码器、信道编码器、必威体育官网网址编码器 ①信源编码——对信源输出的消息??行变换和处理 目的——提高信息传输的有效性 ②信道编码——对消息进行的变换和处理 目的——提高信息传输的可靠性 ③必威体育官网网址编码——目的是保证信息的安全性;(3) 信道——信号从甲地传输到乙地的通道 狭义信道——信号的传输媒质(介) [例] 明线、电缆、波导、光纤、无线电波空间等 信道噪声——通信系统各处干扰、噪声的集中等效体现。;(4)译码器——编码器功能之反 也分成信源译码器、信道译码器、必威体育官网网址译码器三种 (5)信宿——消息传送的归宿 [说明] ①对实际通信系统，还应包括调制、发射等各种变换处理。 ②上述模型只针对一对一单向通信系统。还有一对多单向系统（广播），一对一双向系统（电话），多对多双向系统（会议电视）等。; 就通信领域而言，信息论用于回答下述三个通信的基本问题： 对一个信源输出的数据进行数据压缩时，压缩率的极限值是多少？（Source Coding） 通过一个有噪声的信道能够以多大的速率可靠地传输数据？ （Channel Coding） 当速率受限时，我们表示一个对象能够实现多大的精度？（Rate Distortion）;信息论研究的内容;信息论研究的内容;第一章 绪论;56;57;58;59;60;61;62;63;64;65;语音信号压缩（G.711, GSM…） 音频信号压缩（MP3） 图像信号的压缩（JPEG, MPEG …） 计算机文件压缩（compress, gzip） 纠错编码（汉明码、网格编码、卷积码等） 通信（深空通信、Modem、HDLC…） 其他（信息经济学等）; 信息论的应用; 信息论的应用;第二章 离散信源;主要内容;2.1 信源的数学模型及分类; 1)数学模型 离散信源：信源输出的是单个符号或代码的消息，信源符号集的取值是有限的，或可数的，可以用一维离散型随机变量来描述。信源的数学模型就是离散型随机变量X的概率空间，表示为： 并且满足 其中样本空间为 ， ，I为正整数集；符号ai出现的概率为p(ai)。信源的概率空间是一个完备集。; 连续信源：