信息论与编(傅祖云_讲义)第一章.ppt

算术码就是一种非块码，它是从整个序列的概率的匹配来进行编码的。其实此概念也是香农首先提出的，后经许多学者改进，已进入实用阶段。1968年前后，埃利斯(P．Elias)发展了香农―费诺码，提出了算术编码的初步思路。而里斯桑内(J．Rissanen)在1976年给出和发展了算术编码，1982年他和兰登(G．G．Langdon)一起将算术编码系统化，并省去了乘法运算，使其更为简化、易于实现。 在研究信源编码的同时，另外一部分科学家从事信道编码(纠错码)的研究工作。这一工作已取得了很大的进展，并已经形成一门独立的分支——纠错码理论。1950年汉明(R．W．Hamming)发表的论文《检错码与纠错码》是开拓编码理论研究的第一篇论文。这篇论文主要考虑在大型计算机中如何纠正所出现的单个错误。 ? 密码编码学是信息安全技术的核心，密码编码学的主要任务是寻求产生安全性高的有效密码算法和协议，以满足对消息进行加密或认证的要求。 密码分析学的主要任务是破译密码或伪造认证信息，实现窃取机密信息或进行诈骗破坏活动。 这两个分支既相互对立又相互依存，正是由于这种对立统一关系，才推动了密码学自身的发展。 香农在1949年发表的《必威体育官网网址通信的信息理论》论文中，首先用信息论的观点对信息必威体育官网网址问题作了全面的论述。 由于必威体育官网网址问题的特殊性，直至1976年迪弗(Diffe)和海尔曼(Hellman)发表了《密码学的新方向》一文，提出了公开密钥密码体制后，必威体育官网网址通信问题才得到广泛研究。 尤其当今，信息的安全和必威体育官网网址问题更加突出和重要。人们把线性代数、初等数论、矩阵等引入必威体育官网网址问题的研究，已形成了独树一帜的分支——密码学理论。 1.4 信息论研究的内容和目的 研究通信系统的目的就是要找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、必威体育官网网址性和认证性，以达到信息传输系统最优化。所谓可靠性高，就是要使信源发出的消息经过信道传输以后，尽可能准确地、不失真地再现在接收端。而所谓有效性高，就是经济效果好，即用尽可能短的时间和尽可能少的设备来传送一定数量的信息。 以后会看到，提高可靠性和提高有效性常常会发生矛盾，这就需要统筹兼顾。 所谓必威体育官网网址性就是隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。 所谓认证性是指接收者能正确判断所接收的消息的正确性和完整性，而不是伪造的和被篡改的。 信息与编码 广州大学 蔡庆军 课程计划 1、计划学时54，全部为讲课学时 2、总成绩为试卷成绩70%+平时成绩30%； 3、计划讲授教材的1,2,3,5,6,7,8章 课程概述 当今的时代是一个信息的时代，信息处理技术的不断进步极大的影响了我们的生活，使我们的生活质量得到很大提高。本课程将介绍信息科学的基础理论和基本方法，课程将基于一个通讯系统的抽象数学模型进行展开，课程的数学基础为概率论。整个课程可分为基础理论和编码理论两部分组成 学习方法 本课程以概率论为基础，数学推导较多，学习时主要把注意力集中到概念的理解上，不过分追求数学细节的推导。学习时一定要从始至终注意基本概念的理解，不断加深概念的把握。学习时注意理解各个概念的“用处”，结合其他课程理解它的意义，而不要把它当作数学课来学习，提倡独立思考，注重思考在学习中的重要性。 伟大的科学家——香农 Claude E.Shannon 伟大的科学家——香农 “通信的基本问题就是在一点重新准确地或近似地再现另一点所选择的消息”。 这是数学家克劳德.香农（Claude E.Shannon）在他的惊世之著《《通信的数学理论》中的一句名言。正是沿着这一思路他应用数理统计的方法来研究通信系统，从而创立了影响深远的信息论。 伟大的科学家——香农 香农1916年4月30日出生于美国密歇根州的Petoskey，并且是爱迪生的远亲戚。 1936年毕业于密歇根大学并获得数学和电子工程系理学学士学位，在那里他遇到了离散数学奠基人乔治·布尔，上过他的课程。 1940年获得麻省理工学院（MIT）数学博士学位和电子工程硕士学位。 1941年他加入贝年实验室数学部，工作到1972年。 1956年他成为麻省理工学院（MIT）客座教授，并于1958年成为终生教授，1978年成为名誉教授。 香农博士于2001年2月24日去世，享年84岁。 伟大的科学家——香农 1948年发表“通信的数学理论”，标志着信息论的诞生； 1949年发表“噪声下的通信”，为信道编码奠定理论基础 1949年发表“必威体育官网网址通信的信息理论”，首先用信息论的，观点对信息必威体育官网网址问题作了全面的论述； 1959年发表“保真度准则下的离散信源编码定理”-提出信息率失真理论，为信源压缩编码研究奠定理论基础