信息论与编码A_第1章绪论.pptVIP

* 信息论与编码 信息科学与技术学院 西南交通大学 * 注 意 事 项 教材： 信息论与编码理论．武汉大学出版社, 第1版, 2007． 主编： 彭代渊 教授 西南交通大学 编者：唐小虎 教授 西南交通大学 王宏霞 教授 西南交通大学 陈庆春 副教授 西南交通大学 王 玲 教授 四川师范大学 何明星 教授 西华大学 蒋 华 教授 北京电子科技学院 郭春生 副教授 杭州电子科技大学 参考书 曹雪虹 张宗橙 编著．信息论与编码，清华大学，第1版，2004． 朱诗兵等编著．信息论与编码理论，科学出版社，第1版，2005. 成绩评定 总成绩=期终考试（70%）+ 期中考试（20%）+ 学习过程（出勤、作业）（10%） * 主要内容 第1章 绪论 第2章 信息的度量 第3章 信道及其容量 第4章 无失真信源编码 第5章 率失真理论与有失真信源编码 第6章 信道编码概述 第7章 线性分组码 第8章 循环码 第9章 卷积码 * 第1章 绪 论 1.1 通信系统模型 1.2 信息论与编码理论的主要内容 1.3 信息论与编码理论的形成与发展 1.4 信息论与编码理论的应用 * 1.1 通信系统模型 通信系统模型 * 1.2 信息论与编码理论的主要内容 问题：设想有两个人，一个是发送者A，另一个是接收者B，发送者A需要将消息尽可能准确地传输给接收者B。 二元对称信道(BSC: the binary symmetric channel) （0 ? p 0.5） * 1.2 信息论与编码理论的主要内容 简单传输方案： 发送者A将需要传输的每个符号直接发送一次，接收者B接收到任何一个符号后，都判定为发送者A发送的是该符号，那么这种“译码方案”出现错误的概率是p。 * 1.2 信息论与编码理论的主要内容 编码传输方案： 编码 A将需要传输的每个符号重复发送多次，例如三次，即传输符号0时，就发送符号序列000；传输符号1时，就发送符号序列111。 译码 接收者B接收到三个符号后，选择其中出现次数最多的符号，就判定为发送者A发送的是该符号 译码错误概率 提高了信道的可靠度 ! 降低了传输效率! * 有效性 问题：怎样才能传输更多的消息 通信的实质：信息 研究思路：信息度量、信源编码 可靠性 信道出错概率： e=p(c?c’) 问题：怎样降低信道出错概率e？ 研究思路：信道编码 e’=p(u ?u’) e=p(c ?c’) 1.2 信息论与编码理论的主要内容 信息论与编码理论主要目的: 系统研究通信系统中信息传输的有效性与可靠性 * 1.2 信息论与编码理论的主要内容 信息的定义与度量 数据压缩: 信源编码 信道的最大容量 通信的可靠性 : 信道编码 * 1820-1830: 法拉第(M. Faraday)发现电磁感应规律 1832: J.Henry发明电报 1838: 莫尔斯(F.B.Morse)发明电报码( 信源编码的先驱) 1864: 麦克斯韦(Maxwell)预言电磁波的存在 1876: 贝尔(A.G.Bell)发明电话 1885: 凯尔文(L. Kelvin)研究一条电缆的极限传信率问题 1888: 赫兹(H.Hertz)用实验证明了电磁波的存在 1895~1896: 英国的马克尼(G. Marconi)和俄国的波波夫发明了无线电通信 1904: Fleming发明二极管 1906: DeForest发明三极管 1.3 信息论与编码理论的形成与发展 * 1904: Fleming发明二极管 1906: DeForest发明三极管 1907: 弗雷斯特(L.Forest)发明电子管(电磁波放大) 1917: (G.A.Campbell)发明滤波器 1922: 卡逊(J.R.Carson)研究调幅信号的频谱结构,开始明确上下边带的概念 1924: 奈奎斯特(H.Nyquist)与曲夫缪勒独立指出: 信号传输速率与信道带宽成正比 1925-1927: 建立电视系统 19