第2章信源与信息熵(新).ppt

普通高等教育“十五”国家级规划教材《信息论与编码》 本章所用知识点 二事件的积的概率 p(AB)=P(A)P(B|A)=P(B)P(A|B) 有限个事件的积的概率 P(A1A2A3…..An)=P(A1)P(A2|A1)P(A3|A1A2)…….P(An|A1A2….An-1) 第2章 信源与信息熵 信源描述与分类 离散信源的信息熵和互信息 离散序列信源的熵 连续信源的熵与互信息 冗余度 2.1信源的描述与分类 信源是产生消息（符号）、消息序列和连续消息的来源。从数学上，由于消息的不确定性，因此，信源是产生随机变量、随机序列和随机过程的源 信源的基本特性是具有随机不确定性 2.1信源的描述与分类 2.1信源特性与分类 离散无记忆信源所发出的各个符号是相互独立的，发出的符号序列中的各个符号之间没有统计关联性，各个符号的出现概率是它自身的先验概率。 离散有记忆信源所发出的各个符号的概率是有关联的。这种概率关联性可用两种方式： 2.1信源描述与分类 描述：通过概率空间描述 单符号离散信源 例如：对二进制数字与数据信源 2.1信源描述与分类 连续信源 2.1信源描述与分类 离散序列信源 以3位PCM信源为例 2.1信源描述与分类 当p=1/2 2.2离散信源熵与互信息 信息量 自信息量 联合自信息量 条件自信息量 单符号离散信源熵 符号熵 条件熵 联合熵 2.2离散信源熵与互信息 信息 不确定性的消除 信息的度量 随机性、概率 相互独立符合事件概率相乘、信息相加 熵 事件集的平均不确定性 2.2离散信源熵与互信息 直观推导信息测度 信息I应该是消息概率p的递降函数 由两个不同的消息（相互统计独立）所提供的信息等于它们分别提供信息之和（可加性） 2.2离散信源熵与互信息 定义：对于给定的离散概率空间表示的信源，x=ai事件所对应的（自）信息为 以2为底，单位为比特（bit) 以e为底，单位为奈特（nat) 1nat=1.433bit 以10为底，单位为笛特（det) 1det=3.322bit 2.2离散信源熵与互信息 引入随机事件的不确定度概念。 2.2离散信源熵与互信息 2.2离散信源熵与互信息 2.2离散信源熵与互信息 例2. 2.1　英文字母中“e”的出现概率为0.105，“c”的出现概率为０.023，“o”的出现概率为0.001。分别计算它们的自信息量。 2.2离散信源熵与互信息 定义：联合概率空间中任一联合事件的联合（自）信息量为： 定义：联合概率空间中，事件x在事件y给定条件下的条件（自）信息量为： 2.2离散信源熵与互信息 联合自信息、条件自信息与自信息间的关系 2.2离散信源熵与互信息 例1 设在一正方形棋盘上共有64个方格，如果甲将一粒棋子随意地放在棋盘中的某方格内，让乙猜测棋子所在的位置： （1）将方格按顺序编号，令乙猜测棋子所在方格的顺序号 （2）将方格按行和列编号，甲将棋子所在的方格的行（或列）编号告诉乙，再令乙猜测棋子所在列（或行）所在的位置。 2.2离散信源熵与互信息 解：由于甲将一粒棋子随意地放在棋盘中的某方格内，因此棋子在棋盘中所处位置为二维等概率分布 （1）联合（自）信息量为 （2）条件（自）信息量为 2.2离散信源熵与互信息 2.2离散信源熵与互信息 例2. 一个布袋内放100个球，其中80个球为红色，20球为白色。若随机摸取一个球，猜测其颜色，求平均摸取一次所获得的（自）信息量。 解：随机事件的概率空间为 2.2离散信源熵与互信息 2.2离散信源熵与互信息 单符号离散信源熵 定义：对于给定离散概率空间表示的信源所定义的随机变量I的数学期望为信源的信息熵，单位为比特/符号 第三讲 复习 信源种类 信源熵 本节主要内容 条件熵、联合熵 互信息 2.2离散信源熵与互信息 2.2离散信源熵与互信息 2.2离散信源熵与互信息 2.2.3互信息 2.2离散信源熵与互信息 单符号离散信源互信息 定义：对于给定离散概率空间表示的信源，在出现y事件后所提供有关事件x的信息量定义互信息，单位为比特 2.2离散信源熵与互信息 单符号离散信源互信息 2.2离散信源熵与互信息 平均互信息量 其中 2.2离散信源熵与互信息 条件互信息量与联合互信息量 定义：对于给定离散概率空间表示的信源，在事件z给定条件下，事件x与事件y之间的条件互信息量为： 2.2离散信源熵与互信息 条件互信息量与联合互信息量 定义：对于给定离散概率空间表示的信源，在事件x与联合事件yz之间的联合互信息量为： 2.2离散信源熵与互信息 Eg1(p23) 设信源发出8种消息符号，各消息等