[教育硕士信息论讲座.ppt

信 息 论 ???? 概述 “信息” —信息时代； —用计算机或电话获取、利用信息； —信息技术（IT）； —数学与信息学院 概述 请解释一下什么叫信息？ — “消息” 、“信号”、“知识”、“情报” —“消息” 信息 信息论是怎样的一门学科？ 信息的定义 “信息”是当代使用频率很高的一个概念，也是 很难说清楚的一个概念。据不完全统计，信息 的定义有100多种，它们都从不同的侧面、不同 的层次揭示了信息的某些特征和性质，但至今 仍没有统一的、能为各界普遍认同的定义。 信息的定义 百余种流行的科学定义； 1948，控制论创始人N．Ｗiener： 信息是信息，不是物质，也不是能量 —《控制论— 动物和机器中通情与控制问题》 —首先将“信息”上升到“最基本概念”的位置 香农的信息定义 钟义信的信息定义 香农其人 20世纪中叶，信息论、控制论、系统论等标新立异的新理论相继问世，有力地“晃动”着传统的科学框架。克劳德·香农是一位美国数学工程师，作为信息论的创始人，人们认为他是20世纪最伟大的科学家之一。他在通信技术与工程方面的创造性工作，为计算机与远程通信奠定了坚实的理论基础。人们尊崇香农为信息论及数字通信时代的奠基之父。 信息概念、“比特” 香农其人—家庭背景 克劳德·香农 (Claude Elwood Shannon，1916-2001) 1916年4月30日诞生于美国密西根州。 父亲是该镇的法官，母亲是镇里的中学校长，香农的祖父是一位农场主兼发明家，发明过洗衣机和许多农业机械；此外，香农的家庭与大发明家爱迪生还有远亲关系。 香农其人 2001年2月24日，香农在马萨诸塞州Medford辞世，享年85岁。 贝尔实验室和MIT发表的讣告都尊崇香农为 信息论及数字通信时代的奠基之父。 香农其人—攻读学位 1938年在MIT获得获得电气工程硕士学位，硕士论文题目是《A Symbolic Analysis of Relay and Switching Circuits》 (继电器与开关电路的符号分析)。他注意到电话交换电路与布尔代数之间的类似性，即把布尔代数的“真”与“假”和电路系统的“开”与“关”对应起来，并用1和0表示。于是他用布尔代数分析并优化开关电路，这就奠定了数字电路的理论基础。 哈佛大学的伽登纳(Howard Gardner)教授说，“这可能是本世纪最重要、最著名的一篇硕士论文。” 香农其人—攻读学位 1940年香农在MIT获得数学博士学位，而他的博士论文却是关于人类遗传学的，题目是 《An Algebra for Theoretical Genetics》 (理论遗传学的代数学)。 香农其人—信息理论 1948年发表论文 ： 《A Mathematical Theory of Communication 》 “通信的根本问题是报文的再生，在某一点与另外选择的一点上报文应该精确地或者近似地重现” 这篇论文建立了信息论这一学科，给出了通信系统的线性示意模型的新思想 在这篇论文中，香农首次引入“比特”(bit)一词 香农其人—信息理论 通信的数学理论是香农在数学与工程研究上的顶峰。他把通信理论的解释公式化，对最有效地传输信息的问题进行了研究。 后来，写道： “信息理论可能像一个升空的气球，其重要性超过了它的实际成就” 香农其人—信息理论 香农理论的重要特征是熵(entropy)的概念，他证明熵与信息内容的不确定程度有等价关系。 熵曾经是波尔兹曼在热力学第二定律引入的概念，可以把它理解为分子运动的混乱度。 信息熵也有类似意义。 香农其人—业余爱好 香农可以熟练地玩一套杂技。 一个脍炙人口的故事：他经常骑着独轮车、手里抛着三个球来到贝尔实验室的大厅。 发明过有两个座位的独轮车，不过恐怕没有人敢与他 享；他还把独轮车造成偏离地心的，骑在上面忽高忽 低，像鸭子行走似的 这些活动表明了香农的主张，即好奇心比实用性对他的 刺激更大。 他的名言是：“我感到奇妙的是事物何以集成一体。” 香农其人—参加工作 1941年香农以数学研究员的身份进入新泽西州的A