信息论与编码序论1讲.ppt

四、概率复习内容 记号 P(A)表示事件A发生的概率。P(A|B)表示在事件B发生的条件下，事件A发生的条件概率。EX表示随机变量X的数学期望。 离散型随机变量 离散型随机变量X的所有事件为{a1, a2, …, aN}，对应的概率为P(X=ai)=p(ai), i=1, 2, …, N。通常将此随机变量记为{X, ai , p(ai), i=1~N}。又X的分布列（分布矩阵）记为： 四、概率复习内容 另一个离散型随机变量Y的所有事件为{b1, b2, …, bM}，对应的概率为P(Y=bj)=p(bj) ，j=1, 2, …, M。通常将此随机变量记为{Y, bj, p(bj), j=1~M}。又Y的分布列（分布矩阵）记为： 四、概率复习内容 两个离散型随机变量X与Y联立，得到了二维离散型随机变量(X, Y)。(X, Y)的所有事件为{(ak, bj), k=1, 2, …, N; j=1, 2, …, M}。对应的概率为P((X, Y)= p(aibj)，i=1, 2, …, N; j=1, 2, …, M。通常将此二维随机变量记为{(X, Y), (ai, bj), p(aibj), i=1~N; j=1~M}。(X, Y)的联合分布列（联合分布矩阵）为： 四、概率复习内容 联合分布、边际分布、条件分布的关系： 四、概率复习内容 p(aibj)=p(ai) P(Y=bj| X=ai)= p(bj) P(X=ai| Y=bj)。 如果X与Y相互独立，则对任何i=1~N，j=1~M ，都成立 p(aibj)=p(ai) p(bj) 。 换句话说，对任何i=1~N，j=1~M ，都成立 P(Y=bj| X=ai)= p(bj) 。 P(X=ai| Y=bj)= p(ai) 。 数学期望（均值）： 四、概率复习内容 连续型随机变量 连续型随机变量X的所有事件x有不可列无穷多个，对应的密度函数为fX(x)，-∞x+∞。通常将此随机变量记为{X, fX(x)}。 连续型随机变量Y的所有事件y有不可列无穷多个，对应的密度函数为fY(y)，-∞y+∞。通常将此随机变量记为{Y, fY(y)}。 我们知道 四、概率复习内容 两个连续型随机变量X与Y连立，得到了二维连续型随机变量(X, Y)。 (X, Y)的所有事件为{(x, y)}。对应的联合密度函数为f(X,Y)(x, y)。其中 四、概率复习内容 联合密度与边际密度的关系： 如果X与Y相互独立，则对任何(x, y) ，都成立 f(X,Y)(x, y)= fX(x) fY(y)。 数学期望（均值）： ? School of Computer Science and Technology, SWUST * * 课程学习要求： 禁止迟到、早退； 按时完成作业； 课间布置问题，认真搜集资料； 回答问题的３项要求：站直、面向老师、声音洪亮； 做好预习； 做好复习； 语法信息考虑的是事物运动状态和变化方式的外在形式 。 当然，按照事物运动的方式，还可以把信息进一步细分为概率信息、偶发信息、确定信息和模糊信息。 香农信息论主要讨论的是语法信息中的概率信息，本书也以概率信息为主要研究对象。 §1.1 信息的一般概念 §1.3 信息论的起源、发展及研究内容 §1.2 信息的分类 信息论自诞生到现在不过60年，在人类科学史上是相当短暂的。但它的发展和对学术界及人类社会的影响是相当广泛和深刻的。信息作为一种资源，如何开发、利用、共享，是人们普遍关心的问题。 在人类历史的长河中，信息传输和传播手段经历了五次重大变革： 语言的产生。 文字的产生。 印刷术的发明。 电报、电话的发明。 计算机技术与通信技术相结 合，促进了网络通信的发展。 1 2 3 4 5 1924年，奈奎斯特（Harry Nyquist） (1889-1976)解释了信号带宽和信息速率之间的关系。 20世纪30年代，新的调制方式，如调频、调相、单边带调制、脉冲编码调制和增量调制的出现，使人们对信息能量、带宽和干扰的关系有了进一步的认识。 1936年，阿姆斯特朗（Edwin·Armstrong)指出增大带宽可以使抗 干扰能力加 强，并根据 这一思想提出了宽频移的频率调制方法。 1939年，达得利（Homer Dudley）发 明了带通声码器，指出通