[工学]信息论与编码-ITD第二章信源及信源熵2.ppt

第二讲(续) 2.2.4 数据处理中信息的变化 证明: 图中：X是输入消息集合 Y是第一级处理器的输出消息集合 Z为第二级处理器的输出消息集合 假设：在Y条件下X与Z相互独立 而且 (2) 由式（＊）和（ ＊ ＊）得： I(X;Z)＋I(Y;Z/X) =I(Y;Z)＋I(X;Z/Y) 所以，有 I(X;Z)=I(Y;Z)＋I(X;Z/Y) -I(Y;Z/X) 2.2.5 熵函数的代数性质 非负性 H（X）＝H（x1，x2，…，xn）=0 其中：等号只有在n=1时成立。 证明： （1）因为 ，且在熵函数中，对数的底总是取大于1的数，则logp(xi)〈=0， -logp(xi) =0，（i=1,2,…,n）, 所以 在熵函数中，当 n=1 时, p(x1)=1, log p(x1)=0, H(X)=H(x1)=p(x1) log p(x1)=0 证毕。 说明： （i）这就是熵函数的非负性。表明，从总体平均意义上讲，信源在发送符号以前，总是存在一定的不确定性；在发送符号后，总可以提供一定的信息量。 2．对称性 熵函数所有变元顺序可以任意互换，而熵函数的值不变。即 H（x1，x2，…，xn）＝ H（x2，x1，…，xn） ＝ H（xn，x1，…，x2） ＝ … 因为熵函数只与随机变量的总体结构有关，例如下列信源的熵都是相等的： 证明：由 根据加法交换律，熵函数所有变元顺序可以任意互换，而熵函数的值不变。 说明 (1)熵函数的对称性表明,信源的信息熵只与信源的概率空间的总体结构有关,而与各概率分量和各信源符号的对应关系,乃至各信源符号本身无关. (2) 概率空间的总体结构(概率分量数n)相同的信源,不论其信源符号是否相同,也不论其概率分量与信源符号的对应关系是否一致,其信源的信息熵均相等. 分析 概率分量数都等于3,概率空间都是由1/2,1/3,1/6这三个分量构成。由于这三个信源的概率空间的总体结构相同,所以他们的信息熵相等. 即 H(1/3,1/2,1/6)=H(1/3,1/6,1/2) =H(1/2,1/3,1/6) =1.4592 比特/信源符号 3. 确定性 若信源X的概率空间中任意一概率分量等于1时,其它所有概率分量均等于零,即 则信源X的信息熵一定等于0,即 H(x) = H(0,0,…,1,…,0) = -{0log0+0log0+…+1log1+…+0log0} =0 说明 当信源任意一个符号几乎必然出现时,其它符号几乎不可能出现,这个信源是一个确知信源.在发符号前,不存在不确定性;在发符号后,不提供任何信息量. 当任意一个概率分量等于1时,才能使信源信息熵等于0. 4．香农辅助定理 对于任意两个n维概率矢量P=（p1，p2，…，pn）和Q=（q1，q2，…，qn），如下不等式成立: 5．最大离散信源熵定理 给定离散无记忆信源输出n个不同的信息符号，离散信源的n个概率分量p1, p2,…,pn , 当且仅当各个符号出现概率相等时（即pi＝l／n）熵最大。 H（X）= H(1/n,1/n,…,1/n) = logn 证明: 按条件极值的数学求解方法，做辅助函数（约束条件 ) F(p1,p2,…pn) = H(p1,p2,…,pr)+λ[∑pi–1] = -∑pi㏒pi +λ[∑pi –1] 其中，λ为待定常数，对辅助函数F(p1,p2,…pn)中的n 个变量pi（i=1,2,…,n）分别求偏导，并置之为零，得n个稳定点方程 -（1+ ㏒pi）+λ=0 （i=1,2,…,n） 由稳定点方程可解得 pi=2(λ-1)