信息论-第一章-绪论.ppt

信息论基础 —信息论与编码 课程类型：限定专业选修课 学 时： 48 教 材：《信息论与编码》, 曹雪虹, 张宗橙，北京邮电大 学出版社 参考教材： ① 信息论基础（Elements of Information Theory, 英文 影印）,Thomas M.Cover, Joy A.Thomas ,清华大学出版社，2003 ②《信息论与编码理论(The Theory of Information and Coding,英文影印版)(第2版), Robert J.McEliece,电子工业出版社, 2005.3 伟大的科学家－香农 “通信的基本问题就是在一点重新准确地或近似地再现另一点所选择的消息”。 这是数学家香农（Claude E.Shannon）在他的惊世之著《通信的数学理论》中的一句名言。正是沿着这一思路他应用数理统计的方法来研究通信系统，从而创立了影响深远的信息论。 伟大的科学家－香农 香农于1916年4月30日出生于美国密歇根州的Petoskey，并且是爱迪生的远亲戚。1936年毕业于密歇根大学并获得数学和电子工程学士学位，在那里他遇到了离散数学奠基人乔治·布尔，上过他的课程。1940年获得麻省理工学院（MIT）数学博士学位和电子工程硕士学位。1941年他加入贝尔实验室数学部，工作到1972年。1956年他成为麻省理工学院（MIT）客座教授，并于1958年成为终生教授，1978年成为名誉教授。香农博士于2001年2月24日去世，享年84岁。 香农于1940年在普林斯顿高级研究所（The Institute for Advanced Study at Princeton）期间开始思考信息论与有效通信系统的问题。经过8年的努力，香农在1948年6月和10月在《贝尔系统技术杂志》（Bell System Technical Journal）上连载发表了他影响深远的论文《通讯的数学原理》。1949年，香农又在该杂志上发表了另一著名论文《噪声下的通信》。在这两篇论文中，香农阐明了通信的基本问题，给出了通信系统的模型，提出了信息量的数学表达式，并解决了信道容量、信源统计特性、信源编码、信道编码等一系列基本技术问题。两篇论文成为了信息论的奠基性著作。 香农的贡献 1948年发表“通信的数学理论”，标志着信息论的诞生； 1949年发表“噪声下的通信”，为信道编码奠定理论基础 1949年发表“必威体育官网网址通信的信息理论”，首先用信息论的观点对信息必威体育官网网址问题作了全面的论述； 1959年发表“保真度准则下的离散信源编码定理”-提出信息率失真理论，为信源压缩编码研究奠定理论基础； 1961年发表“双路通信信道”，开拓了多用户信息理论（网络信息论）的研究； 信息论基础的重要性 信息论是信息科学和技术的基本理论,信息科学大厦的地基; 没有信息论的基础，从事通信与信息领域的研究和创新是不可能的事情; 总之,信息论是高层次信息技术人才必不可少的基础知识。 课程基本内容 基本概念 信源编码：无失真、限失真 信道编码 密码 教学目标 充分理解、熟练掌握教材的内容 熟练掌握基本的信息理论概念和定理 熟练掌握通信与信息工程中基本研究对象的数学描述 通过学习和习题练习，具备一定的解决问题分析问题的能力 掌握一定的科学思想方法(用信息论的思想和观点) 学习方法 对学习者的要求 三个重要环节 课前预习 课上认真听讲 课后认真复习消化、作业 经常进行阶段复习 掌握知识的窍诀：反复思维实践 其他约定 不得迟到、早退、缺课，有事请假 上课时请关闭手机 按时交作业，作业必须使用标准作业纸 迟交的作业及纸片做的作业不做修改 1 概 论 1.1 信息的一般概念 1.2 信息的分类 1.3 信息论的起源、发展及研究内容 1.1 信息的一般概念 (1) 当代文明的三大支柱 (2) 信息是什么？ (3) 香农和维纳对信息的定义 (4) 信息的定义和性质 (1) 当代文明的三大支柱 信息科学、材料科学和能源科学一起被称为当代文明的“三大支柱”。是科学历史上三个最重要的基本概念。 没有物质的世界是虚无的世界； 没有能源的世界是死寂的世界； 没有信息的世界是混乱的世界。 (2) 信息是什么？ ①从通信谈起－通信系统的基本概念 ② 信息科学的有关概念 信息与消息和信号的区别 各种信息的概念 信息的直观认识 ①通信系统的基本概念 从通信谈起： ①通信系统的基本概念 最简单的通信系统模型 三个基本单元：信源（Source）、信道　　（C