信息论速成1课件.ppt

信 息 论考试方式：期末闭卷授课教师：李 景 文教材：信息理论基础北京航空航天大学出版社教材主编：周荫清;第一章 绪论;第一章 绪论;第一章 绪论;2、工程信息论（又称一般信息论） 主要研究通信系统及系统中设备的最佳工作规律和最佳设计的一门科学。 研究内容涉及： ①、信源编码理论与方法； ②、信道编码理论与方法； ③、信号检测、估计理论与方法； ④、必威体育官网网址学； ⑤、通信网等。 ＊部件最优，放在一起，系统不一定最优。;3、广义信息论（又称信息科学） 上世纪70年代后，VLSI、VHSI和计算机广泛使用，信息存贮、处理能力不断提高，现代信息的研究突破香农信息论的框框，建立了更一般性的广义信息论，称为信息科学。 研究内容涉及： ①、经典信息论和工程信息论的内容； ②、模式识别； ③、计算机翻译； ④、神经网络； ⑤、心理学； ⑥、遗传学； ⑦、语言学； ⑧、语义学等。;§1.2 信息 1、通俗的信息概念 最普通的概念：信息是一种消息。 例如有人告诉你一条消息。(获得信息？获得多少？) ①、包含许多原来未知的新内容——信息量大 例如：信息论这门课期末不考试——信息量大 ②、包含许多原来知道的旧内容——信息量小 例如：信息论这门课期末考试——信息量小;第一章 绪论;2、广义的信息概念 ①、信息表征客体变化、客体之间的差异和关系； 客观世界三大要素：物质、能量、信息 物质运动需要能量，运动产生差异，差异产生信息。 没有完全一样的客观物体： 例如：双胞胎兄弟难区分—母亲能区分，存在差异。 ②、信息表征客体的行为和能力，而不是客体本身。 例如：母亲邮寄的衣物——客体是衣物 男朋友送的巧克力——客体是巧克力;总结： ①、信息不是物质，表征事物的状态和运动形式； ②、信息是物质和能量在空间和时间上分布的不均匀程度——差异； ③、信息充满世界，信息无处不在，有物质的地方就有信息； ④、信息是无形的，摸不着、看不见，必须依附于一定的物质形式存在——客体。;3、概率信息——定量描述 又称为香农信息、狭义信息，由香农提出来的，从事件不确定性(随机性)和概率测度出发定义信息。 例如： 甲袋（100个球） 乙袋（100个球） 红(50)、白色(50) 红(25)、白(25)、兰(25)、黑(25) 随意取出一球为红色 随意取出一球为红色 | | 不确定性小、概率大(1/2) 不确定性大、概率小(1/4) | | 当被告知取出球为红色 当被告知取出球为红色 (不确定性没有了) (不确定性没有了) | | 消除的不确定性少 消除的不确定性多 (获得信息少) (获得信息多);4、信息、消息和信号 信息：①、比较抽象的概念； ②、是通信系统中传送的对象； ③、包含在消息中。 消息：①、消息比较具体，但不是物理的； ②、消息有不同的形式，能被人的感觉感知； 例如：语言、文字、符号、数据、图片等 ③、构成消息的条件： ＊