[2018年必威体育精装版整理]01-概论1.ppt

江小平 信息论与编码 电子信息工程学院 江小平 学 时：36 教 材： ① 《信息论与编码》,陈 运,电子工业出版社 参考教材： ② 《信息论与编码》,沈连丰,科学出版社 ③ 《信息论—基础理论与应用》,傅祖芸,电子工业出版社 ④ 《纠错码—原理与方法》,王新梅,西安电子科技大学出版社 ⑤ “Digital Modulation and Coding”, S. Wilson, Prentice Hall（“数字调制与编码”影印版，电子工业出版社） 课程概况 目的：了解学习信息论与编码理论的作用与意义，对信息论与编码理论的研究方法和成果有广泛的基本认识，学会应用，为进一步研究打下基础 特点：以概念和物理意义为主，数学推导尽量放到课外 作业：部分课后习题。 考核：平时30%，考试70% 信息论的产生 物质 客观世界三大基本要素 能量 信息 信息时代社会的发展离不开物质(材料)、能量（能源）和信息资源。美国学者欧廷格说：“没有物质什麽都不存在，没有能量什麽都不发生，没有信息什麽都没意义。” 课程基本内容 一. 信息论 信息论的发展以及通信系统的模型 离散信源熵，互信息以及冗余度 二. 信源编码 定长编码，变长编码以及最佳编码 离散信源的信息率失真函数R(D) 限失真信源编码定理以及常用信源编码方法 三. 信道编码 信道模型和容量 线性分组码 卷积码 网格编码调制与级联码 Turbo码及其迭代译码原理 1. 信息论研究的中心问题和发展历史 通信的基本问题 通信的基本问题：在一点精确地或近似地恢复另一点所选择的消息。 通信系统三项性能指标： 传输的有效性 传输的可靠性 传输的安全性 Shannon信息论的基本任务 1948年shannon发表了“通信的数学理论”奠定了信息论理论基础 基本任务是设计有效而可靠的通信系统 可靠是要使信源发出的消息经过传输后，尽可能准确地、不失真地再现在接收端 有效是用尽可能短的时间和尽可能少的设备来传输一定信息量的消息 安全性 信息论的研究内容 狭义信息论（ shannon经典信息论） 研究信息测度，信道容量以及信源和信道编码理论 一般信息论 研究信息传输和处理问题，除经典信息论外还包括噪声理论，信号滤波和预测，统计检测和估值理论，调制理论，信息处理理论和必威体育官网网址理论 广义信息论 除上述内容外，还包括自然和社会领域有关信息的内容，如模式识别，计算机翻译，心理学，遗传学，神经生理学 信息论发展简史 电磁理论和电子学理论对通信理论技术发展起重要的促进作用 1820－1830年，法拉第发现电磁感应 莫尔斯1832－1835建立电报系统。1876年Bell发明电话 1864麦克斯韦预言电磁波存在，1888年赫兹验证该理论 1895年马可尼发明了无线电通信 微波电子管导致微波通信系统，微波雷达系统 激光技术使通信进入光通信时代 信息论发展简史 1832年莫尔斯电码对shannon编码理论的启发 1885年凯尔文研究了一条电缆的极限传信速率 1922年卡逊对调幅信号的频谱结构进行研究 1924年奈奎斯特证明了信号传输速率和带宽成正比 1928年Hartley提出信息量定义为可能消息量的对数 1939年Dudley发明声码器 1940维纳将随机过程和数理统计引入通信与控制系统 信息论发展简史 1948年shannon信息论奠基 1952年Fano证明了Fano不等式，给出了shannon信源编码逆定理的证明 1957，Wolfowitz，1961 Fano，1968Gallager给出信源编码定理的简介证明，并描述了码率，码长和错误概率的关系。 1956McMillan证明了Kraft不等式。1952年Fano码，Huffman码。1976 Rissanen算术编码，1977，78 Ziv和Lempel的LZ算法 1959年，Shannon提出率失真函数和率失真信源编码定理 信息论发展简史 1950年汉明码Hamming码、Golay码 1954年, Reed-Muller码，CRC码 1955年Elias提出卷积码 1959年BCH码 (Bose, Chaudhuri, Hocquuenghem) 1960年RS码 (Reed-Solomon) 1961年，Shannon的“双路通信信道”开拓了网络信息论的研究，目前是非常活跃的研究领域。 1960年卷积码的概率译码---Viterbi译码。 1966