信息论基础 教学课件 作者 田宝玉 杨洁 贺志强 王晓湘 chapter2.ppt

证 利用数学归纳法。根据上凸函数的定义有 f[αx1+(1-α)x2]≥αf(x1)+(1-α)f(x2) 其中0α1 ，即q=2 时成立。 今假定 q=n 成立。现考虑 q=n+1 的情况 设 , 令 , 则 , 续 例 解： 这是一个下凸函数 I(X；Y)≦H(X) I(X；Y)≦H(Y) ★ 极值性： 平均条件互信息 ★ 设联合集XYZ，Z条件下，X与Y之间的平均互信息： ★ 定理：平均条件互信息是非负的： 证明： ★ 定理： 设Y、Z为独立随机变量集合，其中Y含n个事件,Z含k个事件，则联合集YZ含nk个事件。Z集合可看成YZ集合中某些事件的合并处理，由nk个事件合并成k个事件。 1）随机事件合并后，获得的信息量减少； 2）如果YZ为二维取值空间，则Z的取值空间是对YZ取值空间的合并，而YZ取值空间是对Z或Y取值空间的细化。可见，通过对取值空间的细化，可使获得的信息量增加。 本 章 小 结 ★ 自信息的平均值为熵 ★ 条件自信息的平均值为条件熵 ★ 联合自信息的平均值为联合熵 ★ 互信息的平均值为平均互信息 ★ 条件互信息的平均值为平均条件互信息 本 章 小 结 ★ 熵的可加性 ★ 平均互信息与熵的关系 ★ 离散熵与平均互信息都具有非负性 ★ 离散最大熵定理 ★ 平均互信息的凸函数性质 平均互信息为输入概率的上凸函数，为条件概率的下凸函数 条件熵 ★ 条件熵：联合集XY上，条件自信息I(y|x)的平均值 2.7 例 随机变量X和Y，符号集均为{0，1} 解： 求H(Y|X) 联合熵 ★ 联合熵：联合集XY上，对联合自信息I(xy)的平均值 2.7(续) 例 由已知条件可得XY的联合概率分布，如下表所示 解： 求H(XY) 0 1 0 X 1 0 p(xy) Y 熵的基本性质 ★ 凸函数 ★ 信息散度 ★ 熵的基本性质 ★ 各类熵的关系 ★ 熵函数的唯一性 凸函数 下面我们来定义凸函数 LOOK一下 ★ 对于α(0≤α≤1) 及任意两矢量x1,x2，有 f[αx1+(1-α)x2]≥αf(x1)+(1-α)f(x2) 上凸函数(cap) x1 x2 若当且仅当x1 = x2或α= 0,1时等式成立 严格上凸函数 ★ 对于α(0≤α≤1) 及任意两矢量x1,x2，有 f[αx1+(1-α)x2]≤αf(x1)+(1-α)f(x2) 下凸函数(cup) x1 x2 若当且仅当x1 = x2或α= 0,1时等式成立 严格下凸函数 ★ 定理 ： f(x)是区间上的实值连续严格上凸函数 任意一组x1,x2,…,xq λ1,λ2,…,λq，∑λk=1 当且仅当x1=x2=…=xq或λk=1（1 ≦k≦ q）且λj=0（j ≠k）时，等式成立 Jenson不等式 当且仅当x1=x2=…=xq或λk=1（1 ≦k≦q）且λj=0（j ≠k）时，等式成立。 ★ 特别地，当xk为离散信源符号的取值，λk为相应的概率，f(x)为对数函数时，有 ★ 对于一般的凸函数有 1）在某区间的二阶导数小于0，则在此区间内为严格上凸函数。 2）利用Jenson不等式 ★ 上凸函数的判定方法 下面介绍另一个有用的不等式 对于任意x，有： 这是怎么得来的？ ① x=1为稳定点 ② x=1时，2阶导数小于0 x=1处有极大值 y换成x 信息散度 ★ P和Q为定义在同一概率空间的两个概率测度，则P相对于Q的散度： 上式中，概率分布的维数不限，可以是一维，也可以是多维。 ★ 定理：如果在一个共同的有限字母表的概率空间上给定的两个概率测度P(x)和Q(x) 当且仅当对所有x, P(x ) = Q(x) 时,等式成立 熵的基本性质 (1) ★ 对称性： ★ 非负性： ★ 扩展性： ★ 可加性： p=(p1,p2,…,pn)中，各分量的次序可以任意改变 自信息非负，熵为自信息的平均 熵非负 即：小概率事件对熵的影响很小，可以忽略 H(XY)= H(X) + H(Y|X ) H(X1X2…XN)= H(X1)+ H(X2|X1)+ … + H(XN|X1…XN-1) 复合事件集合的不确定性为各个分事件集合的不确定性的和 找 找 假 币 在 哪 里 ? 一次称重的信息量为log3 k次：klog3 3log3=log27log24 熵的链原则举例 ★ 极值性： 熵的基本性质 (2) 定理2. 4. 3 (离散最大熵定理) 对于离散随机变量集合，当集合中的事件等概率发生时，熵达到最大值 证 设随机变量集合有n个符号，概率分布为P(x) ；Q