信息及自信息讲述.ppt

信息及自信息 主讲人：孙雁南 电子通信工程学院 主要内容 一、认识信息 二、信息的定义 三、自信息 四、小结 一、认识信息 一、认识信息 消息就是信息吗？ 用文字、符号、数据、语言、音符、图片、图像等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来就成为消息。 消息中包含信息，是信息的载体。 一、认识信息 香农在1948年发表的《通信的数学理论》中对信息做了科学的定义： 信息是事物运动状态或存在方式的不确定性的描述。 香农——信息论的奠基人。 《通信的数学理论》——信息论 的理论基础。 二、信息的定义 消息传递过程有何特点？ 对于收信者来说： 不知→知 知之甚少→知之甚多 不确定→部分确定或全部确定 信源 信道 信宿 消息 （发送者） （接收者） 噪声 通信系统形式上传输的是消息，实质上传输的是信息。 二、信息的定义 通信的结果是消除或部分消除不确定性从而获得信息。 作为消息的发送者，信源输出一则消息携带多少信息量?如何计算? 二、信息的定义 研究对象：单符号离散信源 数学模型： 三、自信息 信息量，在数量上等于通信前后不确定性的消除。 例1：二元信源发送0和1概率不同时，不 确定性大小不同。 例2：掷一个质地均匀的骰子，不确定性 较大。 例3：信源只发送一种消息，不确定性为 零。 三、自信息 收到某消息获得的信息量 = 不确定性减少的量 = （收到此信息前关于某事件发生的不确定性） － （收到此信息后关于某事件发生的不确定性） = 信源输出的某消息中所含有的信息量 （无噪情况下，后项为0） 三、自信息 某事件发生所含有的信息量应该是该事件发生的先验概率的函数 ——事件 发生的先验概率； ——事件 发生所含有的信息量， 称为 的自信息量。 三、自信息 根据客观事实和人们的习惯， 应满足 (1) 应是先验概率 的单调递减函数，即当 时 (2)当 时， ； (3)当 时， ； (4)两个独立事件的联合信息量应等于它们分别的信息 量之和，即统计独立信源的信息量等于它们分别的 信息量之和。 三、自信息 因此，可从数学上证明这种函数形式是对数形式，即 代表两种含义： 当事件 发生以前，表示事件 发生的不确定性； 当事件 发生以后表示事件 所含有（或所提供）的信息量。 三、自信息 自信息单位：取决于对数所选取的底。 三、自信息 例：假设一次掷两个各自均匀、互相不可区分又互 不相关的骰子。如事件A、B、C分别表示：A仅 有一个骰子是1；B至少有一个骰子是4；C骰子 上点数的总和是偶数。试计算事件A、B、C发 生后所提供的信息量。 1比特信息量就是两个互不相容的等概事件之一发生时所提供的信息量。 三、自信息 1. 信息 信息是事物运动状态或存在方式的不 确定性的描述。 2. 自信息 四、小结 思考题： 信源整体平均携带多少信息量? 如何测量？ 作业题： P66 2.2、2.4 四、小结