信息论与编码第课程介绍绪论.pptVIP

1959年，Shannon,信源压缩编码理论，“Codingtheoremforadiscretesourcewithafidelitycriterion”1961年，Shannon,“双路通信信道”，多用户理论-网络信息论1972年，Cover,广播信道信息论的形成与发展1.2信息论的形成与发展1.2信息论的形成与发展三大定理无失真信源编码定理（第一极限定理）信道编码定理（第二极限定理）限失真信源编定理（第三极限定理）Shannon信息论：在噪声环境下，可靠地、安全地、有效地传送信息理论---狭义信息论香农的生平、学术风格和习惯香农的祖父是一位农场主兼发明家，发明过洗衣机和许多农业机械，这对香农的影响比较直接。此外，香农的家庭与大发明家爱迪生(ThomasAlvaEdison，1847-1931)还有远亲关系。12001年2月24日，香农在马萨诸塞州Medford辞世，享年85岁。贝尔实验室和MIT发表的讣告都尊崇香农为信息论及数字通信时代的奠基之父。21938年香农在MIT获得电气工程硕士学位，硕士论文题目是《ASymbolicAnalysisofRelayandSwitchingCircuits》(继电器与开关电路的符号分析)。当时他已经注意到电话交换电路与布尔代数之间的类似性，即把布尔代数的“真”与“假”和电路系统的“开”与“关”对应起来，并用1和0表示。于是他用布尔代数分析并优化开关电路，这就奠定了数字电路的理论基础。3香农的生平、学术风格和习惯他也不提倡人们迷信权威，提醒人们不要滥用信息论，并且认为重要的工作往往是基于谨慎的批判。他反对对一些已有领域的过度研究，而是强调转向有意义的研究领域，他反对跟风研究，强调自己在“自己的屋子里”做自己的、一流的、最高科学水平的工作。06指出不要滥用信息论。04研究兴趣广泛，多方面取得成就。（生当作人杰，死亦为鬼雄）01白天总是关起门来工作，晚上则骑着他的独轮车来到贝尔实验室。03香农有着非常好的学术眼光，香农一生论文不算太多，但是，不鸣则已，一鸣惊人，篇篇都是经典，许多都具有开拓性，他是信息时代的引路人和开拓者，被称FatherofInformationTheory。05善于刻画问题本质02香农的生平、学术风格和习惯香农的生平、学术风格和习惯Shannon定理的证明是非构造性的，而且也不够严格，但他的“数学直观出奇地正确”(A.N.Kolmogrov，1963)。“数学家通常是先通过直觉来发现一个定理；这个结果对于他首先是似然的，然后他再着手去制造一个证明。”－－哈代已在数学上严格地证明了Shannon编码定理，而且发现了各种具体可构造的有效编码理论和方法，可以实现Shannon指出的极限。善于简化问题，建立模型。理论的作用是浓缩知识之树，“简单模型胜于繁琐的现象罗列”，“简单化才能显现出事物的本质，它表现了人的洞察力”。香农的生平、学术风格和习惯香农平时兴趣广泛，不仅做了许多研究，而且也喜欢动手制作各种设备，一生有许多杰出的制作发明。如受控飞碟、会走迷宫的机器鼠等。他具有很强的工程素养又精通数学，得天独厚的知识结构使他能把数学理论自如地运用于工程。香农的生平、学术风格和习惯wemustkeepourownhouseinfirstclassorder.Thesubjectofinformationtheoryhascertainlybeensold,ifnotoversold.Weshouldnowturnourattentiontothebusinessofresearchanddevelopmentatthehighestscientificplanewecanmaintain.Researchratherthanexpositionisthekeynote,andourcriticalthresholdsshouldberaised.Authorsshouldsubmitonlytheirbestefforts,andtheseonlyaftercarefulcriticismbythemselvesandtheircolleagues.ThewriterisindebtedtohiscolleaguesattheLaboratories,particularlytoDr.H.W.Bode,Dr.