信息论与编码(第一章PPT).pdfVIP

西南交通大学 信息论与编码 唐小虎 信息科学与技术学院 xhutang@swjtu.edu.cn 2014年9月 1 注 意 事 项 教材： 信息论与编码理论．武汉大学出版社, 第1 版, 2007 ． 主编：彭代渊 教授 西南交通大学 参考书 曹雪虹张宗橙编著．信息论与编码，清华大学，第1版， 2004 ． 朱诗兵等编著．信息论与编码理论，科学出版社，第1 版，2005. 2 主要内容 第1章 绪论 第2章 信息的度量 第3章 信道及其容量 第4章 无失真信源编码 第5章 率失真理论与有失真信源编码 第6章 信道编码概述 第7章 线性分组码 第8章 循环码 第9章 卷积码 3 第1章 绪 论 1.1 通信系统模型 1.2 信息论与编码理论的主要内容 1.3 信息论与编码理论的形成与发展 1.4 信息论与编码理论的应用 4 1.1 通信系统模型  通信系统模型 5 1.2 信息论与编码理论的主要内容  问题：设想有两个人，一个是发送者A ，另一个 是接收者B ，发送者A需要将消息尽可能准确地 传输给接收者B 。  二元对称信道(BSC: the binary symmetric channel) （0 p 0.5 ） 6 1.2 信息论与编码理论的主要内容  简单传输方案： 发送者A将需要传输的每个符号直接发送一次，接 收者B接收到任何一个符号后，都判定为发送者A 发送的是该符号，那么这种“译码方案”出现错误 的概率是p 。 7 1.2 信息论与编码理论的主要内容  编码传输方案： 编码 A将需要传输的每个符号重复发送多次，例如三次， 即传输符号0时，就发送符号序列000 ；传输符号1时， 就发送符号序列111。 译码 接收者B接收到三个符号后，选择其中出现次数最多 的符号，就判定为发送者A发送的是该符号 译码错误概率 p e p {2个符号出错}p {3个符号出错} 3p 2 (1 p ) p 3 3p 2 2p 3 p. 提高了信道的可靠度! 降低了传输效率! 8 1.2 信息论与编码理论的主要内容 信息论与编码理论主要目的: 系统研究通信系统中信息传输的有效性与可靠性  有效性 问题：怎样才能传输更多的消息 通信的实