第2章信源及其信息的统计度量1_21~23课件.ppt

2.3.3 联合熵（共熵） 同理，可以计算得： 根据联合熵的表达式可得 根据条件熵的表达式可得 2.3.4 熵函数的性质 ◆说明： H(X) 是随机变量 X 的概率分布 的函数，即 称为熵函数，是 r-1 元函数。 性质2.8（非负性） 对于离散集合 X，有 等号成立的充要条件是对某个 i， ，其余 性质2.9 （对称性） 当变量 的顺序任意互换时， 熵函数的值不变，即 2.3.4 熵函数的性质 有三个信源，其概率空间分别为 可以计算三个信源的熵相同，为 例 ◆ 若三个信源表示不同的物理对象，显然是不同信源， 但是，由于概率分布的结构相同，熵相同。 2.3.4 熵函数的性质 性质2.10（确定性） 信源中有一个事件必然出现， 其它事件不可能出现时，其熵为 0。 性质2.11（扩展性） 在信源概率空间中增加一个基本 不会出现的小概率事件，其信息熵不变，即 性质2.12（连续性） 在信源概率空间中概率分量的 微小波动，不会引起信源熵的变化，即 2.3.4 熵函数的性质 性质2.13 （递增性） 式中， 利用熵函数的递增性计算 例 解 2.3.4 熵函数的性质 性质2.14（极值性）设信源 X 有 r 个消息， 则其信源熵 H(X) 满足不等式 当且仅当 X 中各消息等概分布时，等号成立。 性质2.15（上凸性） H(X) 是概率矢量 P 的严格∩型凸函数（或上凸函数）。 即对任意概率矢量 P 和 P，及任意 0 θ 1，则有 ◆上凸函数在定义域内的极值必为极大值。 2.3.4 熵函数的性质 二元信源的符号集为： A: {0,1} 概率分布为：P(0) = ω，P(1) =1- ω，（0 ≤ ω≤ 1） 熵函数为 该熵函数如图示。 ◆信源消息等概时， P(0) =P(1) = 0.5 信源熵达到每信源符号 1 bit 的最大值。 1 ω 0 0.5 1 H(ω) 例 2.3.4 熵函数的性质 性质2.16（可加性） 两个信源 X 和 Y 相互独立时， 联合熵等于 X 和 Y 的熵之和，即 性质2.17（强可加性） 两个互相关联的信源 X 和 Y 的 联合熵等于信源 X（或 Y）的熵加上 在 X（或 Y）已知条件下信源 Y（或 X）的条件熵，即 ◆推广到多个信源的情况 2.3.4 熵函数的性质 性质2.18（熵的不增原理） 在离散联合变量集 XY 上， 条件熵总是小于或等于无条件熵，即 ◆表明：在信息处理过程中，条件越多或者信息处理的环节 越多，信息熵越小。 性质2.19 联合熵和信息熵的关系为 当 X 和 Y 相互独立时等号成立。 ◆推广： 相互独立时，等号成立。 *2.3.5 加权熵的概念及基本性质 (本节可以自学，或略讲) ◆设信源（随机变量）X 的概率空间为 ◆对上述信源构造一个相应的重量空间为 定义2.10 加权熵定义为消息 ai 的重量 wi 对自信息 I(ai) 的加权平均值，即 *2.3.5 加权熵的概念及基本性质 ◆ 按照主观因素加权后，可以调整事件的重要性， 引入加权熵，实际上从某种程度上反映了人的主观因素。 ◆加权熵与 Shannon 熵类似的性质如下 性质2.20 （非负性） 性质2.21 （对称性）当变量 w1, w2,…, wr 和 p1, p2,…, pr 的顺序以相同方式任意互换时，加权熵不变，即 *2.3.5 加权熵的概念及基本性质 性质2.22 （确定性） 信源中有一个事件必然出现， 其它事件不可能出现时，其加权熵为 0。 性质2.24 （连续性）信源概率空间中概率分量的微小波动 不会引起加权熵的变化，即 性质2.23 （扩展性） 在信源概率空间中增加一个基本不会 出现的小概率事件，其加权熵不变，即 *2.3.5 加权熵的概念及基本性质 性质2.25 （递增