信息论与编码[www.pptVIP

****信息论与编码教材及参考书教材：曹雪虹、张宗橙，《信息论与编码》，北京邮电大学出版社参考书：1.傅祖芸，《信息论—基础理论与应用》，电子工业出版社2.方军、俞槐栓，《信息论与编码》，电子工业出版社3.吴伯修、祝宗泰、钱霖君，《信息论与编码》，东南大学出版社4.姜丹，《信息论与编码》，中国科学技术大学出版社第一章绪论第一节信息论的形成和发展第二节通信系统的模型首先了解如下两个问题1．信息的概念是什么？2．信息论和信息技术分别研究什么样的问题？1．信息的概念是什么？信息是指各个事物运动的状态及状态变化的方式。人们从来自对周围世界的观察得到的数据中获得信息。信息是抽象的意识或知识，它是看不见、摸不到的。人脑的思维活动产生的一种想法，当它仍储存在脑子中的时候它就是一种信息。2．信息论和信息技术分别研究什么样的问题？信息不是静止的，它会产生也会消亡，人们需要获取它，并完成它的传输、交换、处理、检测、识别、存储、显示等功能。研究这方面的科学就是信息科学，信息论是信息科学的主要理论基础之一。它研究信息的基本理论，主要研究可能性和存在性问题，为具体实现提供理论基础。与之对应的是信息技术，主要研究如何实现、怎样实现的问题。第一节信息论的形成和发展20世纪20年代奈奎斯特（Nyquist，H．）和哈特莱（Hartley，L．V．R．）提出了信息的定义1924年奈奎斯特解释了信号带宽和信息速率之间的关系1928哈特莱最早研究了通信系统传输信息的能力，给出了信息度量方法1936年阿姆斯特朗（Armstrong）提出了增大带宽可以使抗干扰能力加强1941～1944年香农对通信和密码进行深人研究，用概率论的方法研究通信系统，揭示了通信系统传递的对象就是信息，并对信息给以科学的定量描述，提出了信息熵的概念。指出通信系统的中心问题是在噪声下如何有效而可靠地传送信息以及实现这一目标的主要方法是编码等。香农因此成为信息论的奠基人。第一节信息论的形成和发展50年代信息论在学术界引起了巨大的反响60年代信道编码技术有较大进展，使它成为信息论的又一重要分支；信源编码的研究落后于信道编码。香农1959年的文章(Codingtheoremsforadiscretesourcewithafidelitycriterion)系统地提出了信息率失真理论，它是数据压缩的数学基础，为各种信源编码的研究奠定了基础到70年代，有关信息论的研究，从点与点间的单用户通信推广到多用户系统的研究。1972年盖弗（Caer）发表了有关广播信道的研究，以后陆续有关于多接入信道和广播信道模型的研究，但由于这些问题比较难，到目前为止，多用户信息论研究得不多，还有许多尚待解决的课题。第一节信息论的形成和发展几个概念狭义信息论和广义信息论信息论是在信息可以量度的基础上，研究有效地和可靠地传递信息的科学，它涉及信息量度、信息特性、信息传输速率、信道容量、干扰对信息传输的影响等方面的知识。通常把上述范围的信息论称为狭义信息论，又因为它的创始人是香农，故又称为香农信息论。广义信息论则包含通信的全部统计问题的研究，除了香农信息论之外，还包括信号设计、噪声理论。信号的检测与估值等。第一节信息论的形成和发展本书讲述的信息理论的基本内容是与通信科学密切相关的狭义信息论：（1）什么是信息？如何度量信息？（2）在信息传输中，基本的极限条件是什么？（3）信息的压缩和恢复的极限条件是什么？（4）从环境中抽取信息的极限条件是什么？（5）设计什么样的设备才能达到这些极限？（6）实际上接近极限的设备是否存在？第一节信息论的形成和发展信息、消息和信号的关系信息是指各个事物运动的状态及状态变化的方式。人们从来自对周围世界的观察得到的数据中获得信息。信息是抽象的意识或知识，它是看不见、摸不到的。人脑的思维活动产生的一种想法，当它仍储存在脑子中的时候它就是一种信息。消息是指包含有信息的语言、文字和图像等，例如我们每天从广播节目、报纸和电视节目中获得各种新闻及其他消息。消息是具体的，它载荷信息，但它不是物理性的。信号是消息的物理体现，为了在信道上传输消息，就必须把消息加载（调制）到具有某种物理特征的信号上去。信号是信息的载荷子或载体，是物理性的。如电信号、光信号等。