信息论与编码理论-第讲-绪论.pptxVIP

课程基本内容ch1绪论ch2信息量和熵ch3离散信源无失真编码ch4信道及信道容量ch5信道编码定理ch6线性分组码ch7卷积码ch9限失真信源编码

教学目标充分理解、熟练掌握教材的内容熟练掌握基本的信息理论概念和定理熟练掌握通信与信息工程中基本研究对象的数学描述通过学习和习题练习，具备一定的解决问题分析问题的能力掌握一定的科学思想方法(用信息论的思想和观点)

学习方法注意理解各个概念的“用处”，结合其他课程理解它的意义，而不要把它当作数学课来学习，提倡独立思考，注重思考在学习中的重要性。学习时一定要从始至终注意基本概念的理解，不断加深概念的把握。本课程以概率论为基础，数学推导较多，学习时要把注意力集中到概念的理解上，不过分追求数学细节的推导。

信息论与编码理论

ClaudeE.Shannon(1916/04/30-2001/02/26)

伟大的科学家－香农“通信的基本问题就是在一点重新准确地或近似地再现另一点所选择的消息”。这是数学家香农（ClaudeE.Shannon）在他的惊世之著《通信的数学理论》中的一句名言。正是沿着这一思路他应用数理统计的方法来研究通信系统，从而创立了影响深远的信息论。

Shannon一生写了127篇文章[1]，与我们当今有些发文数百篇的年轻学者相比实在有点少，但他的每篇文章都极富洞察力，为我们提供了全新的新思想，很多文章都开辟了崭新的研究方向！?1938年发表《继电器和开关电路的符号分析》一文曾获电气和电子工程师学会(IEEE)的AlfredNoble奖，是20世纪中的一篇最重要也是最为著名的硕士论文，成为数字电路设计的一个里程碑。这篇文章是在1937年成文的，当时他还是MIT的一名学生。在这篇文章他告诉人们：“如果我们有一天能发明计算机，要使它能够思索的话，一定会是采用二元码和串在一起的开关，并应用布尔（Boole）逻辑系统实现的结果。”

?1940年的博士论文《AnAlgebraforTheoreticalGenertics》[1，[3]]，是数字控制系统和计算机科学的先驱工作。?1948年发表的《通信的数学理论》文章[7]，创建了信息论，这是一篇20世纪少有的几篇对科学和工程，乃至对人类社会发展产生了重要影响著作，是可与牛顿力学相媲美的不朽之作，也是他最重要的科学贡献。这使他成为信息论之父，时年仅32岁。作为数学家，他为数学开辟了一个工程应用的新领域。这篇文章虽然在1947年完成，但至今仍然闪烁着智慧的光芒，它将照耀人类今后的数个世纪。

“通信的基本问题是在彼地精确地或近似地重现此地所选的消息”，这句话将通信的本质表述得多么清晰！它所给出的信道容量方程（C=Wlog2(1+S/N)，W：信道带宽，S/N：信噪比，C：信道容量），指出了通过信道实现错误概率为零时可传输的最大信息速率，即Shannon极限，这是一个罕见的、漂亮、简洁而又有效的理论结果。著名信息论和编码理论教授RobertG.Gallager曾说过：“Shannon发现了在所有通信中最基本的元素就是二元数字”。“这的确是他的发现，从此萌发了整个通信领域的（数字化）革命”。

这篇著作一发表就在通信工程界引起了极大反响，财富（Fortune）杂志立即称此理论为：一个人的最杰出和最令人为之骄傲的创造，一个伟大的、能够迅速而深刻地改变人们对于世界看法的科学理论。Shannon为通信工程师们点亮了灯塔，为他们的探索指明了工作的方向。应当指出，这篇文章发表后曾遭受到某数学家的抨击，责难Shannon的一些结果未经证明，在数学上不严格，靠不大住。

Shannon对此评论说，“我不喜欢他的评论，他并未仔细看这篇文章，你可以将每一小的推断都一行一行地用数学写写出来，或者你可以假定读者已明白了你所讲的。我确信我是正确的，我清楚地知道我所做的，它给出的所有结果都恰好是正确的。”今天，这一理论已被广泛地应用，从空间探测、卫星通信、无线移动通信，到硬盘驱动器、光盘存储等。信息论的应用已远远超出了通信领域，从基因学、分子生物学、神经系统、脑科学到心理学、艺术、音乐、社会学、语言学、经济学，甚至庭院设计。

?1949年发表了“Programmingacomputerforplayingchess，”[1，[54]]这也是人工智能的一个先驱工作。1965年他曾应邀赴莫斯科参加一个工程会议，并顺便会见了多次获国际象棋世界冠军、电器工程师MikhailBotvinnik，一起对弈和讨论了计算机编程下棋。1980年Shannon还作为特邀贵宾参加了在奥地利Linzjuxingde国际计算机象棋冠军赛，贝尔实验室的“Belle”获得了冠军，已接近象棋大师水平。1997年IBM造出