节例题.pptVIP

* * 【例2.8】推导求条件熵为什么要用联合概率？ 先取一个bj，在已知bj条件下，X的条件熵为H(X/bj)： 上式为仅知某一个bj时X的条件熵，它随着bj的变化而变化，仍然是一个随机变量。 已知所有的bj时X仍然存在的不确定度，应该是进一步把H(X/bj)在Y集合上取数学期望 【例2.9 条件熵】 已知X，Y∈{0,1} ，XY构成的联合概率为：p(00)=p(11)=1/8，p(01)=p(10)=3/8，计算条件熵H(X/Y)。 解： 根据条件熵公式： 【例题2.10】证明条件熵不大于信源熵（无条件熵） 证明： 证明：先证明一个常用不等式：ln x≤x－1（Jensen詹森不等式 ）， 用图形表示为： 例题2.11 最大离散熵定理 令f(x)=ln x-(x-1) , 则 可见当x=1时，f(x)=0, 故f(x)的极值为0。 故此极值为极大值。 这时 f(x)=ln x-(x-1) ≤0 → lnx≤(x-1) 又 所以有： f(x) ≤f(1)=0 ，当且仅当x=1时取等号。 （詹森不等式或信息论不等式） 证法一： 令 利用 证法二：现令 则有 两边取统计平均值求得： 结论：等概率分布时熵最大，不确定性最大。故这一定理又被称为离散信源最大熵定理。 例题2.12 可加性的证明 证明： 熵函数H(U)为 在证明本定理以前先介绍凸函数的概念。 先介绍凸集合：若集合 （n维欧氏空间），有 ，且对任意实数 ： ，有 则称为C为凸集合。其涵义为：凸集合中任意的两元素的线性组合仍属于原凸集合。 显然，n维线性空间 为一凸集合。 亦为一凸集。 例题2.13 上凸性的证明 证明： 的上凸函数。 概率矢量 任意凸集合的交(∩)仍为凸集，但是其并（∪）与补 ，并非凸集。 凸函数：又称下凸（∪） 函数 设f(p)是由某个凸集C（ ）上定义的实函数，若对任意实数 和任意矢量 满足下列不等式： 则称f(·)为下凸函数（∪） 。 其含义为：凸集合中函数的线性组合不小于凸集合中线性 组合的函数。若不等号相反，即 则称f(·)为上凸(∩)或凹函数。 上述凹凸函数可以用下列形象直观图形来表示： 若将上述“≥”、“≤”改为“”、“”则分别称为严格凸和严格凹。 在[a,b]上定义的下凸（∪）函数 在[a,b]上定义的上凸 由上述凸函数性质，我们只需证明熵函数满足下列不等式。 （对照上凸函数性质，即 其中 ，而 因此只需证明： （Jensen不等式） 函数 （即熵函数为上凸函数。）