信息论与编码理论－第讲－绪论.pptxVIP

课程基本内容;教学目标;学习方法; 信息论与编码理论;伟大的科学家－香农; Shannon一生写了127篇文章[1]，与我们当今有些发文数百篇的年轻学者相比实在有点少，但他的每篇文章都极富洞察力，为我们提供了全新的新思想，很多文章都开辟了崭新的研究方向！ ? 1938年发表《继电器和开关电路的符号分析》一文曾获电气和电子工程师学会(IEEE)的Alfred Noble奖，是20世纪中的一篇最重要也是最为著名的硕士论文，成为数字电路设计的一个里程碑。这篇文章是在1937年成文的，当时他还是MIT的一名学生。在这篇文章他告诉人们：“如果我们有一天能发明计算机，要使它能够思索的话，一定会是采用二元码和串在一起的开关，并应用布尔（Boole）逻辑系统实现的结果。” ; ? 1940年的博士论文《An Algebra for Theoretical Genertics》[1，[3]]，是数字控制系统和计算机科学的先驱工作。 ? 1948年发表的《通信的数学理论》文章[7]，创建了信息论，这是一篇20世纪少有的几篇对科学和工程，乃至对人类社会发展产生了重要影响著作，是可与牛顿力学相媲美的不朽之作，也是他最重要的科学贡献。这使他成为信息论之父，时年仅32岁。作为数学家，他为数学开辟了一个工程应用的新领域。这篇文章虽然在1947年完成，但至今仍然闪烁着智慧的光芒，它将照耀人类今后的数个世纪。; “通信的基本问题是在彼地精确地或近似地重现此地所选的消息”，这句话将通信的本质表述得多么清晰！它所给出的信道容量方程（C = Wlog2(1+ S/N)，W：信道带宽，S/N：信噪比，C：信道容量），指出了通过信道实现错误概率为零时可传输的最大信息速率，即Shannon极限，这是一个罕见的、漂亮、简洁而又有效的理论结果。 著名信息论和编码理论教授Robert G. Gallager曾说过：“Shannon发现了在所有通信中最基本的元素就是二元数字”。“这的确是他的发现，从此萌发了整个通信领域的（数字化）革命”。; 这篇著作一发表就在通信工程界引起了极大反响，财富（Fortune）杂志立即称此理论为：一个人的最杰出和最令人为之骄傲的创造，一个伟大的、能够迅速而深刻地改变人们对于世界看???的科学理论。Shannon为通信工程师们点亮了灯塔，为他们的探索指明了工作的方向。 应当指出，这篇文章发表后曾遭受到某数学家的抨击，责难Shannon的一些结果未经证明，在数学上不严格，靠不大住。; Shannon对此评论说，“我不喜欢他的评论，他并未仔细看这篇文章，你可以将每一小的推断都一行一行地用数学写写出来，或者你可以假定读者已明白了你所讲的。我确信我是正确的，我清楚地知道我所做的，它给出的所有结果都恰好是正确的。” 今天，这一理论已被广泛地应用，从空间探测、卫星通信、无线移动通信，到硬盘驱动器、光盘存储等。信息论的应用已远远超出了通信领域，从基因学、分子生物学、神经系统、脑科学到心理学、艺术、音乐、社会学、语言学、经济学，甚至庭院设计。; ? 1949年发表了“Programming a computer for playing chess，”[1，[54]]这也是人工智能的一个先驱工作。1965年他曾应邀赴莫斯科参加一个工程会议，并顺便会见了多次获国际象棋世界冠军、电器工程师Mikhail Botvinnik，一起对弈和讨论了计算机编程下棋。1980年Shannon还作为特邀贵宾参加了在奥地利Linzjuxingde国际计算机象棋冠军赛，贝尔实验室的“Belle”获得了冠军，已接近象棋大师水平。1997年IBM造出了“深蓝”计算机，装入了计算机程序chatterbot ALICE，并战胜了俄国国际象棋大师和世界冠军Garry Kasparov。;这是人类第一次用自己制造的机器在智能上（更确切地说是在下国际象棋的能力上）战胜了自己。 ? 1950年他构建了老鼠走迷宫机器Theseus，1951年发表的《Presentation of a maze solving machine》[1，[70]]，是一篇计算机学习的先驱著作。这也 是人工智能的一个先驱工作。 ? 1953年Shannon曾构建了“心灵阅读（Mind reading）”机[1，[73]]，可通过观察、记忆和分析对方过去所选硬币的正、反面的图样，试图猜测对方下一次可能选择。这是一种博弈游戏。Shannon的阅读机曾和贝尔的同事，这种机器的发明人D. W. Hagelbarger进行对弈，并赢得胜利。 ;与E. F. Moore合作研究，用增