信息论与编码第二章.ppt

条件互信息量定义2.5三维XYZ联合集中，在给定条件zk的情况下，xi与yj之间的互信息量的定义为另外，联合集合XYZ中还存在xi与yjzk之间的互信息量，其定义式或将上式进一步表示为思考下式的证明上式表明一对事件yjzk出现后提供有关xi的信息量I（xi;yjzk),等于事件yj出现后所提供的有关xi的信息量I（xi;yj)加上在给定时间yj的条件下再出现事件zk所提供的有关xi的信息量。2.2信息熵学校统计某个年级某个班级的数学期末成绩，那这个班级可以作为整体信源，而班级里的每个学生的数学成绩就是一个随机事件，学生个人的成绩好坏只代表自己，不能说明他的班级数学成绩。离散集的平均自信息量（熵）信息函数只能表示信源发某一特定的具体符号所提供的信息量，不同的符号，有不同的自信息量，所以它不足以作为整个信源的总体信息测度。12345定义2.6在集上，随机变量的数学期望定义为平均自信息量集的平均自信息又称为集的信息熵，简称为熵。的平均自信息量表示集即为了在观测之前，确定集件平均所需的信息量；或者说，在观测之后，集中每出现一个事件平均给出的信息量。集中事件出现的平均不确定性，中出现一个事平均自信息量的单位：对数底是2，信息量的单位为比特（bit）；若取自然对数底，则信息量的单位为奈特（nat）；若以10为对数底，则信息量的单位为哈特（hat）。式中，表示摸出的球为红球事件，表示摸出的球是白球事件。这是一个随机事件试验。试验结果是，当被告知摸出的是红球，则获得的信息量是分析：这一随机事件的概率空间为【例2.6】一个布袋内放100个球，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量。当被告知摸出的是白球，则获得的信息量是1如果每次摸出一个球后又放回袋中，再进行下一次摸取，那么如此摸取次，2红球出现的次数为次，3白球出现的次数为次。4随机摸取5次6后总共所获得的信息量为7而平均随机摸取一次所获得的信息量则为8H(X1)=-0.99log0.99－0.01log0.01=0.08（比特/符号）H(X2)=-0.5log0.5-0.5log0.5=1（比特/符号）（2）信源二：【例2.7】（1）信源一：熵是从整个集合的统计特性来考虑的，它是从平均意义上来表征集合的总体特征的。熵表示事件集合中事件发生后，每个事件提供的平均信息量；熵表示事件发生前，集合的平均不确定性；（3）信源三:H(X3)=-4×0.25log0.25=log4=2（比特/符号）（4）信源四：H(X4)=-0log0–1log1=0计算结果说明确定事件的熵为零以上四个信源熵的大小关系正好是：总括起来，信源熵有三种物理意义：第一章信息熵的性质：，其中熵的对称性是指当信源含有个离散消息时，信源熵的顺序任意互换时，只是求和顺序不同，熵的值不变。2、对称性:02信息熵的非负性即为1、非负性:01例如，有三个不同信源的信源空间分别为：由于这三个信源的概率空间的总体结构相同，他们的信息熵相等，即有==比特/信源符号3、确定性若信源的概率空间中只要有一个等于1时，其它所有概率分量均等于零，则信源的信息熵一定等于0。4、扩展性：01于零的事件，其他的概率分布相同，则这两个信源若信源02个事件，信源和中有03的熵值相同。即个事件，而另一个信源即中有的差别知识多了一个概率接近，它对其他概率分布6、极值性：5、可加性：设有两个信源X和Y,它们不是相互独立的，则二维随机变量（X,Y)的熵等于X的无条件熵加上当X已给定时Y的条件概率定义的熵统计平均值，即对任意两个消息数相同的信源X、Y，有其中。任一概率分布的自信息取数学期望时，必大于本身的熵。7、最大熵定理：是概率分布上凸性：在离散的情况下，集合X中的各事件等概率发生时，熵达到最大值，即的严格上凸函数，即条件熵2.2.2从通信角度来看，若将视为信源视为信宿接收符号，可看作信宿收到后，关于发送的符号是否为仍然存在的疑义度（不确定性），那信宿收到Y后，信源X仍然存在不确定度，就用条件熵度量。输出符号，定义2.7联合集XY上，条件自信息量I(y|x)的概率加权平均值定义为条件熵。即说明：1、当X,Y统计独立时，有则2、当，信源事件和信宿是一一对应的关系，中的某个元素后，关于发送的符