信息论导论-第2章课件.pptxVIP

第2章 离散信源及其信息熵 武刚 2012年3月 《信息论导论》 n 信息的概念 n 什么是信息？ n 信息论的研究内容 n 香农信息论 n 单符号离散信源 n 自信息量：比特、奈特、笛特 信息论导论-第2章，武刚 2 复习 ①离散信源所发出的一条消息，它包含着 多大的信息量？ ②从离散信源的整体出发，它的信息量又 应该如何度量？ 本章的两个主要问题 信息论导论-第2章，武刚 3 一、 自信息量 二、单符号离散信源的信息熵 三、多符号离散信源及其信息熵 信息论导论-第2章，武刚 4 提纲 n 最简单的信源? n 为给出定量度量信息的方法，先讨论最 简单的信源： 1 、单符号离散信源 n 如果信源每次发出的消息都是单一符号， 而这些符号的取值是有限或可数的，则称 这种信源为单符号离散信源。 n 例子：掷骰子、简单的天气气象 n 如何描述这些事件？概率论？ 一、自信息量 信息论导论-第2章，武刚 5 一、自信息量： 单符号信源模型(1) 掷骰子这一单符号离散信源可表示为： 而某一天简单的天气气象这一单符号离 散信源则可表示为： 信息论导论-第2章，武刚 6 一、自信息量： 单符号信源模型(2) n 单符号离散信源的数学模型： n 预备知识 n 联合概率 n 条件概率 信息论导论-第2章，武刚 7 n 假设一个单符号离散信源，其输出被传递给 信宿；设P(x1)最大、P(xn)最小，问题: n 输出哪条消息包含更多的信息，x1,还是xn？ n 根据香农信息的概念 n 消息中所包含的不确定性的成分才是信息 n 不确定性的成分越大，或者说出现的概率越小， 信息量就越大； n 从这个意义上，输出xn包含更多的信息。 n 这个量是多少，如何表示？ 一、自信息量:定义 信息论导论-第2章，武刚 8 n 如果将离散信源输出xi所包含的信息量 用I(xi)来表示并将其称为xi 的自信息量， 则其必须满足的条件是： ① I(xi)与输出xi的概率相关； ② I(xi)是P(xi)的连续函数； ③ I(xi)是P(xi)的减函数，且当P(xi) =1时 I(xi) =0 。 因此，xi的自信息量的定义为： 一、自信息量：定义(1) 信息论导论-第2章，武刚 9 自信息量的定义： n 无量纲，根据对数的底来定义单位： n 当对数底为2时，自信息量的单位为比特(bit, binary unit) n 对数底为e时，其单位为奈特(nat, nature unit) n 对数底为10时，其单位为哈特(Hart, Hartley)。 n 目前的通信系统或其他信息传输系统大多 以二进制为基础，因此信息量的单位以bit 最为常用。 一、自信息量：定义(1) 信息论导论-第2章，武刚 10 一、自信息量 以bit为单位的自信息量记为： 3 、自信息量的性质 ①I(xi)是随机量； ②I(xi)是非负值； ③I(xi)是P(xi)的单调递减函数。 logxP(x) P(x) 1 信息论导论-第2章，武刚 11 0 一、自信息量 n 本课件中定义 信息论导论-第2章，武刚 12 n 证明： n 例1：求掷骰子这一信源发出各种消息所 包含的自信息量。 解： ∵该信源的数学模型为 一、自信息量 信息论导论-第2章，武刚 13 n 例2：求某一天简单的天气气象这一信 源发出各种消息所包含的自信息量。 解： ∵该信源的数学模型为： 一、自信息量 信息论导论-第2章，武刚 14 1 、互信息量的定义 2 、互信息量的性质 互信息量(简述) 信息论导论-第2章，武刚 15 n 两个随机事件X和Y，分别取值于信源、信宿 b1 b2 b3 bm 后验概率： P(ai/bj) 先验概率： P(ai) 发出的离散消息集合 n 信源X的数学模型 互信息量：定义 信源X 有扰 信道 信息论导论-第2章，武刚 16 n 信宿Y的数学模型 干扰源 信宿Y a1 a2 a3 a n 息是“今天不是晴天(y1)” n 问各消息与y1的互信息量 n 例2.1.2, 根据天气气象信源模型，观测得到的信 信息论导论-第2章，武刚 17 互