[数学]信息论基础.doc

信息论基础 第一讲 信息的基本概念与预备知识 一、信息的基本概念 1、信息论是通信的数学理论，是运用数理统计的方法研究信息的传输、存储与处理的科学。 2、物质、能量、信息是构成客观世界的三大要素，信息存在于任何事物中，有物质的地方就有信息。 3、信息具有的性质 （1）无形————不具实体性； （2）共享————交流者不会失去原有信息，还可获得新的信息，可无限传播，也可限制传播，如设密码、安全措施 ； （3）信息是一种资源————永远在产生、更新、演变，取之不尽用之不竭； （4）可度量————信息的数量和质量可度量。 3、概率信息（香农信息或狭义信息）美国数学家香农（C.E.Shannan）提出，信息源具有随机性不定度，为了消除一定的不定度必须获得与此不定度相等的信息量。 （1）甲袋有100个球，50个红，50个人白，取出一个为红； （2）乙袋有100个球，25个红，25个白，25个蓝，25个黑，取出一个为红； 概率大，不确定性小，信息量小，。 4、消息 构成消息的条件：能被通信双方理解，可在通信中进行传递和交换。消息具有不同的形式，如语言、文字、符号、数据、图片等。消息是信息的载荷者，同一消息可以含不同的信息量，同一信息可以用不同形式的消息来载荷。 5、信号 信号是消息的表现形式，消息是信号的具体内容。信号是消息的载体。 6、信息的传输系统 信源——编码——信道——译码器——信宿 二、预备知识 1、全概公式 2、贝叶斯公式 3、条件概率 4、乘法公式 4、不等式 三、自信息的度量 1、自信息 随机事件发生概率为，则随机事件的自信息量为 。 （1）非负性 （2）随机性 是随机变量 （3）单调性 概率大自信息量小 （4）随机事件的不确定性在数量上等于它的自信息量。 （5）单位 以2为底，记作lb，单位比特（bit）； 以e为底，记作ln，单位奈特（nat）； 以10为底，记作lg，单位哈脱来（hat）。 常用数值: lb3=1.585 , lbe =1.443 , lb10=3.322 , lb5= 2.322 ， lb7= 2.806 ， 例1 见教材p9 习题2.5 一副充分洗乱了的牌（含52张牌），试问 (1) 任一特定排列所给出的信息量是多少？ (2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？ 解： (1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是： (2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下： 补充1 设离散无记忆信源 ， 其发出的信息为202120130213001203210110321010021032011223210，求 (1) 此消息的自信息量是多少？ (2) 此消息中平均每符号携带的信息量是多少？ 解： (1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是： 此消息的信息量是： (2) 此消息中平均每符号携带的信息量是： 2、联合自信息 3、条件自信息 给定后还存在的不确定性。 例2 见教材p9 习题2.4 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 解： 设随机变量X代表女孩子学历 X x1（是大学生） x2（不是大学生） P(X) 0.25 0.75 设随机变量Y代表女孩子身高 Y y1（身高160cm） y2（身高160cm） P(Y) 0.5 0.5 已知：在女大学生中有75%是身高160厘米以上的 即： 求：身高160厘米以上的某女孩是大学生的信息量 即： 四、互信息的度量 1、 先验的不确定性减去尚存在的不确定性，即消除的不确定性的度量； 或的出现后所提供的有关的信息量。 2、性质 （1）互易性 （2）独立时互信息为零 （3）可正可负 为正，事件的出现有助于肯定事件的出现；为负，则不利，存在信道干扰。 （4） ， 例3见教材p12 补充2 有两个二元随机变量X和Y，它们的联合概率为 Y X x1=0 x2=1 y1=0 1/8 3/8 y2=1 3/8 1/8 试求：（1）， ；（2）； （3），； （4），其中 解：（1） （2）， ， （3） （4） 3、条件互信息 4、 五、小结 六、作业 习题p41 2.1 ，2.2 ，2.5 ，2.8 思考题：2.3 ，2.7， 第二讲 平均自信息——信息熵 一、复习 二、信息熵 1、的数学期望定义为平均自信息，又称为信息熵，简称熵， 表示