信息论与编码-第一章.ppt

信息论与编码 信息论与编码 The Theory of Information Coding 授课老师：张卫党 电话Email: iewdzhang@zzu.edu.cn 辅导老师： 电话： 郑州大学信息工程学院 信息论与编码 教学内容 教学计划 课程安排 先期课程 参考书 信息论与编码 教学内容 信息论 基本概念、基本理论，包括： 信息、熵、信道容量、编码定理（无失真信源编码、有 噪信道编码，限失真信源编码等，信道编码理论） 编码理论 ：信源编码、信道编码（侧重点） 基本原理、常用码编译原理和方法 信息论与编码 教学计划： 总学时48~51，其中教学45，习题课4，辅导2 信息论：约23学时 信道编码：约22学时 两次习题课，对应于两大内容 信息论与编码 课程时间安排： 课程地点安排： 最终成绩（必修） 期末考试成绩 约占70% 期中考试成绩 约占20% 平时作业成绩 约占10% 信息论与编码 先期课程 本课程所需的先验知识：概率，数理统计，随机过程，数字通信 先期课程：概率论，数理统计，通信原理 有的地方还会用到有限域、随机过程方面的知识 信息论与编码 参考书： 信息论与编码，曹雪虹 张宗橙编，清华大学出版社. 信息论—基础理论与应用， 傅祖芸编著，电子工业出版社. The theory of information and coding, R.J. McEliece 纠错码-原理与方法，王新梅 信道编码，刘玉君 信息论与编码-绪论 第一章 绪论 1.1信息论的基本概念 1.2信息论发展简史 1.3信道编码发展简史 1.4通信系统的基本模型 信息论与编码-绪论 1.1信息论的基本概念 信息 如何定义信息、如何度量信息、如何计算信息 信息论 如何处理信息、如何传递信息、如何提取信息 信息论与编码-绪论 信息的一般含义 信息至今无确切的统一定义，但是它是一种人人皆知的抽象概念，是一种不言自明的概念。 信息在不同的领域内有不同的定义。 在通信领域内是指通信时所要告诉对方的某种“内容”。或者说是接受方在接受到一个符号或一个序列后，所获得的“内容”。 信息论与编码-绪论 信息论的研究范畴 信息论是在信息可以度量的基础上，对如何有效、可靠地传递信息进行研究的科学 狭义信息论：信息度量、信息特征、信息传输速率、信道容量、干扰对信息传输的影响等 广义信息论：还包括信号设计、噪声理论、信号的监测与估值等 信息论与编码-绪论 本书所要解决的问题 什么是信息、如何度量信息？ 在信息传输中，基本的极限条件是什么？ 对于信息的压缩和恢复的极限条件是什么？ 从环境中抽取信息极限的条件是什么？ 设计什么样的设备才能达到这些极限？ 这些设备是否存在？ 信息论与编码-绪论 1.2 信息论发展简史和现状 信息论的奠基人—克劳德·艾尔伍德·香农（Claude Elwood Shannon，1916年4月30日—2001年2月26日）美国数学家 于1916年4月30日出生于美国密歇根州的Petoskey 1936年毕业于密歇根大学并获得数学和电子工程学士学位 1940年获得麻省理工学院（MIT）数学博士学位和电子工程硕士学位 1941年他加入贝尔实验室数学部，工作到1972年 1956年他成为麻省理工学院（MIT）客座教授，并于1958年成为终生教授，1978年成为名誉教授 香农博士于2001年2月26日去世，享年84岁 信息论与编码-绪论 1948年在《贝尔系统技术杂志》上发表了244页的长篇论著，《通信的数学理论》。 1949年，他又在同一杂志上发表了另一篇名著《噪声下的通信》。 在这两篇文章中，他解决了过去许多悬而未决的问题：经典地阐明了通信的基本问题，提出了通信系统的模型，给出了信息量的数学表达式，解决了信道容量、信源统计特性、信源编码、信道编码等有关精确地传送通信符号的基本技术问题。 两篇文章成了现在信息论的奠基著作 信息论与编码-绪论 信息论与编码-绪论 1832年莫尔斯电报系统中高效率编码方法对后来香农的编码理论是有启发的。 1885年凯尔文(L. Kelvin)曾经研究过一条电缆的极限传信率问题。 1922年卡逊(J．R．Carson)对调幅信号的频谱结构进行了研究，并建立了信号频谱概念。 1924年奈奎斯特(H．Nyquist)指出，如果以一个确定的速度来传输电报信号，就需要一定的带宽。他把信息率与带宽联系起来了。 1936年阿姆斯特朗(E．H．Armstrong)认识到在传输过程中增加带宽的办法对抑制噪声干扰肯定有好处。根据这一思想他提出了宽偏移的频率调制方法，该方法是有划时代意义的。 信息论与编码