重庆科创职业学院-信息量与熵.pptVIP

第二章 信息量和熵Information and Entropy 信息量和熵 2.1 离散变量的非平均信息量 2.2 离散集的平均自信息量－熵 2.3 离散集的平均互信息量(mutual information) 2.4 连续随机变量的互信息和熵 2.5 凸函数和互信息的凸性(convex) 输入，输出空间定义 输入空间X={xk,k=1,2,…,K},概率记为Q(xk) 输出空间Y={yj,j=1,2,…,J},概率记为ω(yj) 联合空间XY={xkyj ;k=1,2,…,K;j=1,2,…,J}, 概率为p(xkyj) P(xkyj)= P(xk|yj)ω(yj)= P(yj|xk)Q(xk) 非平均互信息量 例2.1.1 非平均互信息量 非平均互信息量 信息量与后验概率有关，与先验概率有关 先验概率越大，得到的信息量越小，反之信息量越大 非平均互信息量 例2.1.2 非平均互信息量 条件互信息和联合事件互信息 三个事件集的条件互信息定义为 可以推广到任意有限多个空间情况 互信息的可加性 离散变量的非平均自信息量 非平均自信息的性质 非负 体现先验不确定性大小 条件自信息和联合自信息 自信息、条件自信息和互信息 参考习题 2.1，2.3，2.4，2.5，2.11 2.2 离散集的平均自信息量－熵 熵-Entropy 条件熵和联合熵 熵的性质 对称性 非负性 确定性 扩展性 可加性 极值性 是P上凸函数 熵的性质－可加性 熵的极值性 引理1: lnx≤x-1 熵的极值性 引理2： H(X|Y)≤H(X) H(U1…UN)≤H(U1)+…+H(UN) 熵的凸性 H(P)是P的上凸函数 2.3 离散集的平均互信息量 平均互信息量 平均互信息量 4. I(X;Y)≤H(X) ,I(X;Y)≤H(Y) 条件互信息 信息处理定理 Z出现情况下，X和Y独立,构成一个马氏链 信息处理定理 参考习题 2.7，2.8，2.9，2.14，2.17，2.18 2.4 连续随机变量的互信息和 微分熵 连续随机变量的互信息 例:求高斯随机变量的互信息 随机变量的微分熵 均匀分布的微分熵 高斯分布的微分熵 微分熵的极大化 1.峰值功率受限 均匀分布微分熵最大 2.平均功率受限 高斯分布微分熵最大 3.平均功率大于等于熵功率 微分熵的极大化 峰值功率受限 微分熵的极大化 平均功率受限 2.5 凸函数与互信息的凸性 凸函数 凸集 R：a，b属于R，qa+(1-q)b也属于R，其中0≤q≤1 概率矢量 矢量a的所有分量和为1 上凸函数 凸函数的性质 f(a)是上凸的，－f(a)是下凸的 f1(a),…,fL(a)是R上的上凸函数，c1,…,cL是正数，c1f1(a)+…+cLfL(a)也是上凸函数 f(a)是上凸函数，E[f(a)]≤f[E(a)], E为求数学期望 K-T条件 f(a)是定义域R上的上凸函数，a是概率矢量。偏导数 存在且连续， f(a)在R上为极大的 充分必要条件 互信息的凸性 互信息的凸性 参考习题 2.27, 2.28, 2.29, 2.31 H(X) H(Y) I(X;Y) H(Y|X) H(X|Y) 系统1 系统2 X Y Z 信息处理定理 熵功率 p(y|x)给定，I(X;Y)是q(x)的上凸函数 Q(x)给定，I(X;Y)是p(y|x)的下凸函数 q1和q2是X上的任意两个概率矢量，相应的互信息为I1和I2，令θ满足0θ1。q=θq1＋(1－θ)q2是合成概率矢量，此时输入X和输出Y之间的互信息为I。需要证明 2.1 离散变量的非平均信息量 联合概率 后验概率 先验概率 P(yj|xk) Y X 0 0 0 1 0 0 0 0 0 0 1/2 1/2 0 0 0 0 1/4 1/4 1/4 1/4 0 0 0 0 1/8 1/8 1/8 1/8 1/8 1/8 1/8 1/8 000 001 010 011 100 101 110 111 X1 X2 X3 X4 X5 X6 X7 x8 看到011 P(Xk|011) 看到01 P(Xk|01) 看到0 P(Xk|0) P(xk) 码字 传送消息 每种可能性都是1/8 0 X1到x4可能性都是1/4 X5到x8可能性都是0 看到0 0 1 X3到x4可能性都是1/2 其他可能性都是0 0 1 1 x4可能性是1 其他可能性都是0 0 0 0 1 0 0 0 0 0 0 1/3 2/3 0 0 0 0 1/6 1/3 1/6 1/3 0 0 0 0 1/8 1/4 1/8 1/4 1/16 1/16 1/16 1/16 000 001 010 011 100 101 110