信息论大复习(2010-5-31).ppt

总复习 2010-5-31 考试题型 A卷： 一、判断题（每小题2分，共30分） 二、填空题（每小题3分，共30分） 三、计算题（前5题每小题6分，第6题10分，共40分） B卷： 一、判断题（每小题1分，共15分） 二、填空题（每小题3分，共15分） 三、计算题（每小题10分，共70分） 第一章 绪论 主要内容： 信息 通信系统模型 信息论的形成和发展 信息论的应用 信息论的数学基础 1.1 信息 信息论也叫做“通信的数学理论”，是应用近代数理统计方法研究信息的传输、存储与处理的科学。 迄今为止，信息并没有形成一个很完整的系统的概念。信息和消息并不是一回事，不能等同。 物质、能量和信息是构成客观世界的三大要素。 信息必须依附于一定的物质形式，如文字、声波、电磁波等。这种运载信息的物质，称为信息的载体。一切物质都有可能成为信息的载体。 概率信息、香农信息、狭义信息。 信息表征信源的不确定度，但它不等同于不确定度，而是为了消除一定的不确定度必须获得与此不确定度相等的信息量。 信息的性质： （1）信息是无形的； （2）信息是可共享的； （3）信息是无限的； （4）信息是可度量的。 数据是指能够被计算机处理的数字、字母和符号等具有一定意义的实体。 信号是数据在信道中传输时的具体表现形式，一般表现为电信号。 信息可通过两种方式被发送：模拟方式和数字方式，这两种方式均使用电压产生相应的信号。 1948年，香农在 “贝尔系统技术”杂志上发表了两篇有关“通信的数学理论”的论文，在这两篇论文中，他用概率测度和数理统计的方法，系统地讨论了通信的基本问题，得出了几个重要的带有普遍意义的结论，并由此奠定了现代信息论的基础。 在香农信息论的指导下，为提高通信系统信息传输的有效性和可靠性，人们在信源编码和信道编码两个领域进行了卓有成效的研究，取得了丰硕的成果。 1952年Fano证明了Fano不等式，给出了shannon信道编码逆定理的证明; 1957，Wolfowitz，1961 Fano，1968 Gallager给出信道编码定理的简洁证明并描述了码率、码长和错误概率的关系，1972年Arimoto和Blahut提出了信道容量的迭代算法; 1956 McMillan证明了Kraft不等式; 1952年Fano码，Huffman码; 1976 Rissanen算术编码; 1977，78 Ziv和Lempel的LZ算法; 1950年汉明码; 1960年卷积码的概率译码，Viterbi译码; 1982年Ungerboeck编码调制技术; 1993年Turbo编译码技术; 1959年，Shannon提出率失真函数和率失真信源编码定理; 1961年，Shannon的“双路通信信道”开拓了网络信息论的研究，目前是非常活跃的研究领域。 信息论的数学基础 主要是概率论 其次是微积分和线性代数 概 率 概率是从随机试验中的事件到实数域的函数，用以表示事件发生的可能性。如果用P(A)作为事件A 的概率，Ω是试验的样本空间，则概率函数必须满足如下公理： 公理1：P(A) ≥0 公理2：P(Ω) = 1 公理3：如果对任意的i 和j ( i ≠ j )，事件Ai 和Aj 不相交( Ai∩Aj＝Φ)，则有： 条件概率 如果A 和B 是样本空间Ω上的两个事件，P(B)0，那么在给定B 时A 的条件概率P(A|B) 为： 条件概率P(A|B) 给出了在已知事件B 发生的情况下，事件A 发生的概率。 一般地，P(A|B) ≠ P(A)。 全概率公式 设Ω为试验E 的样本空间，B1, B2, …， Bn 为Ω 的一组事件，且它们两两互斥，且每次试验中至少发生一个。即： 则称B1、B2、… Bn 为样本空间Ω的一个划分。 全概率公式 设A为Ω 的事件，B1, B2, …, Bn 为Ω的一个划分，且P(Bi)0 (i=1, 2, …, n)，则全概率公式为： 贝叶斯法则 如果A 为样本空间 Ω 的事件，B1，B2，…，Bn 为Ω 的一个划分，且P(A) 0，P(Bi) 0 ( I = 1， 2， …，n ) ，那么： 贝叶斯法则的意义 贝叶斯公式给出了“结果”事件A已发生的条件下，“原因”事件B的条件概率。对结果事件的任何观测都将增加我们对原因事件B的真正分布的知识。 期 望 期望值是一个随机变量所取值的概率平均。设X为一随机变量，其分布为：P（X=xk）=pk，k=1，2，…。若级数 绝对收敛，那么随机变量X的数学期望或概率平均值为： 方 差 一个随机变量的方差描述的是该随机变量的值偏离其期望值的程度。设X为一随机变量，其方差为： 正态分布 思考题 1 一个班上有30个学生，至少有两人生日相同的概率是多少？40个人呢？8