第二章 信息量和熵.pptVIP

互信息的凸性 例 设X的事件有0、1； Y的事件有0、1； 已知 p(0|0)=1-u；p(1|0)=u；p(0|1)=u；p(1|1)=1-u。 当X服从等概分布（a0=P(X=0)=1/2；a1=P(X=1)=1/2）时，I(X;Y)达到最大。因为此时 互信息的凸性 小结 信息的度量——熵，信息量 熵的极大性 熵，平均互信息的关系 条件熵，联合熵，条件互信息，联合互信息 互信息的凸性 信息处理定理 讨论 10个硬币中有一个重量偏轻，其他9个为标准重量。在不用砝码的天平上至多称多少次，就能发现这个轻的硬币？怎样称？用天平称的信息论含义是什么？ 世界杯冠军预测方法。 信息论与大数据。 熵的性质－极值性 引理1: lnx≤x-1 引理2： H(X|Y) ≤H(X) H(U1…UN) ≤H(U1)+…+H(UN) 熵的性质－凸性 H(P)是P的上凸函数 2.3 离散集的平均互信息量 平均互信息量 定义2.4.1(平均互信息量) 给定一个二维离散型随机变量{(X, Y), (xk, yj), rkj, k=1~K; j=1~J}（因此就给定了两个离散型随机变量{X, xk, qk, k=1~K}和{Y, yj, wj, j=1~J}）。X与Y的平均互信息量定义为如下的I(X; Y)： 平均互信息量 注意：事件对(xk, yj)的互信息量值为I(xk; yj)。此外，可以定义半平均互信息量I(xk; Y)和I(X; yj)。 平均互信息量的性质 非负性 I(X;Y) ≥0 对称性 I(X;Y)=I(Y;X) 平均互信息用熵与条件熵表示 平均互信息与熵的关系: I(X;Y) ≤H(X) or H(Y) 若X是Y的确定的函数X=g(Y)，则I(X;Y)=H(X)≤H(Y); 若Y是X的确定的函数Y=g(X)，则I(X; Y)=H(Y)≤H(X)。 平均互信息量 一般印象 （平均互信息量I(X; Y)的各种性质与我们对“互信息量”这个名词的直观理解非常吻合）。 一般情形：总有0≤I(X; Y)≤min{H(X), H(Y)}。 一种极端情形：若X与Y相互独立，则I(X; Y)=0。 另一种极端情形：若X、Y中有一个完全是另一个的确定的函数，则I(X; Y)=min{H(X), H(Y)}。 平均互信息量 H(X) H(Y) I(X;Y) H(Y|X) H(X|Y) 平均条件互信息与联合互信息 信息处理定理 Z出现情况下，X和Y独立 系统1 系统2 X Z Y 信息处理定理 2.4 连续随机变量的互信息和相对熵 连续随机变量的互信息 定义2.5.1 给定二维连续型随机变量{(X, Y), f(X,Y)(x, y)}（因此就给定了两个连续型随机变量{X, fX(x)}和{Y, fY(y)}）。事件x∈X与事件y∈Y的互信息量定义为 连续随机变量的平均互信息 I(X; Y | Z) I(XY; Z) 定义2.5.2 给定二维连续型随机变量{(X, Y), f(X,Y)(x, y)}（因此就给定了两个连续型随机变量{X, fX(x)}和{Y, fY(y)}）。 X与Y的平均互信息量定义为 性质 非负性 对称性 数据处理定理 关系 连续随机变量的相对熵 （连续型随机变量为什么不能类似地定义平均自信息量——熵？这是因为，连续型随机变量的事件有无穷多个，每个事件发生的概率无穷小。如果类似地定义熵，则熵是无穷大。因此只能定义所谓“相对熵”，而“相对熵”的直观合理性大打折扣） 相对熵的定义 给定连续型随机变量{X, fX(x)}。 X的相对熵定义为 连续随机变量的相对熵 HC(XY) HC(Y | X)， HC(Y | X) ≤HC(Y) 互信息与相对熵 I(X ; Y)＝HC(X)－HC(X | Y)＝HC(Y)－HC(Y | X) ＝HC(X)+HC(Y)－HC(X, Y) HC(X, Y)＝HC(X)+HC(Y)－I(X ; Y) 均匀随机变量的相对熵 例2.5.2 设X~U(a, b)，求X的相对熵（我们将发现， X的相对熵未必非负）。 正态随机变量的相对熵 例2.5.3 设X~N(m, σ2)，求X的相对熵（我们将发现， X的相对熵未必非负）。 正态随机变量的相对熵 熵功率 相对熵不具有非负性 例2.5.3 练习： 试求指数分布连续信源的熵 相对熵的极大化 1.峰值功率受限 均匀分布相对熵最大：HC(X) ≤log 2M 2.平均功率受限 高斯分布相对熵最大 3.平均功率大于等于熵功率 2.5 凸函数与互信息的凸性 凸函数 凸集R：a，b属于R，qa+(1-q)b也属于R，其中0≤q≤1 概率矢量： 矢量a的所有分量非负，且和为1 概率矢量全体所构