信息论第二讲-离散信源地熵.ppt

⑵交互关系 由p(xi, yj)=p(xi) p(yj/xi)=p(yj) p(xi/yj) 可以得到如下结果： I(xi, yj)=I(xi)-I(xi/yj)=I(yj)-I(yj/xi) I(xi,yj)=I(yj, xi) 称为交互信息量 ⑶两个公式 由以上两个公式可以看到： 只要已知某一个信源符号的先验概率及相应的转移概率，就可以得到相应的交互信息量。 ⑷后验概率与交互信息量 已知交互信息量=log(后验概率/先验概率)， 这里分析后验概率对交互信息量的影响。 H(xi/yj)=0 收到yj后可以准确无误地判断xi，相当于无噪声信道，收到yj获得的信息量就等于xi的自信息量。 H(xi)H(xi/yj) 收到yj后判断信源发出xi的概率，大于收到yj之前判断信源发出xi的概率，通信后接收者对信源符号xi的不确定度减少了，获得的信息量大于0。 H(xi)=H(xi/yj) 收到yj后判断信源发出xi的概率，等于收到yj之前判断信源发出xi的概率，通信后接收者对信源符号xi的不确定度没有变化，获得的信息量等于0。 H(xi)H(xi/yj) 收到yj后判断信源发出xi的概率，小于收到yj之前判断信源发出xi的概率，通信后接收者对信源符号xi的不确定度不但没减少，反而增加了，获得的信息量小于0。 离散无记忆信道－DMC 离散无记忆信道是一种简单的通信信道模型。 离散：某一时刻的输入输出为有限的符号集合； 无记忆：某一时刻的输出只与这一时刻的输入有关； X: x1,x2,……xn Y: y1,y2,……ym 二元对称信道－BSC 0 1 1 0 1-p 1-p p p n=m=2 二元删除信道 0 1 1 0 1-p 1-q p q ? n=2; m=3 后验熵—H(X/Y) 接收者(观测者)收到Y后,对信源X仍然存在的不确定量 定义： 交互信息量接收者通过某一个信道[P]从一个信宿符号yj中获得某一信源符号xi信息量的问题，但它没有反映一个信道的整体特性，因此，这里定义平均交互信息量。 对于给定的信道模型；{X, P(Y/X), Y}，其平均互信息量为：I(X,Y)=H(X)-H(X/Y) 2.4.4 平均交互信息量 关系： 进一步还可以得到： 平均交互信息量给出了信道传输一个信源符号所传递的平均信息量，对于给定的信道和信源平均交互信息量是一个确定的量， 平均交互信息量实际上就是接收者收到一个符号通过信道从信源所获得的平均信息量，因此也称为平均接收信息量。 利用熵的概念来描述交互信息量： 疑义度 I(X,Y)=H(X)-H(X/Y) 其中条件熵H(X/Y)称为疑义度，可疑度，它表示接收者收到Y后，对信源X仍然存在的平均不确定度。 扩散度（噪声熵） I(X,Y)=H(Y)-H(Y/X) 其中条件熵H(X/Y)称为扩散度，噪声熵，它表示发信者发出X后，对信道输出Y仍然存在的平均不确定度。 联合熵（共熵） I(X,Y)=H(X)+H(Y)-H(X,Y) 其中熵H(X,Y)称为联合熵，共熵，它表示通信完成之后，观察者对通信系统仍然存在的平均不确定度。 * ⑴离散信源特性： 根据Shannon信息论的观点，信源要含有一定的信息，必然具有随机性，即有不确定性，可以用其概率来表示。 2、离散信源的熵 2.1 离散信源的数学模型 2.1.1 单符号离散信源的数学模型 ⑵离散信源空间： 信源的符号（状态）随机地取值于一个离散集合[X]=（x1,x2,…xn）中，一个离散信源可以用一个离散随机变量的概率空间表示。[P]=(p1,p2,…pn) 这种表示称为离散无记忆信源的信源空间。 信源空间必为一个完备空间， 即其概率和为1。 ⑶信源数学模型描述的条件： 用信源空间（离散随机变量）来表示信源的条件是信源符号（状态）的先验概率是可知的，这是Shannon信息论的一个基本假说。 信息的理解 1 只有信息的概念没有信息的定义； 2 山农信息论认为：“正如熵表示分子无组织程度的度量一样，离散信源中所包含的信息就是信源符号不确定程性的度量”。 组织程度的度量； 有序程度的度量； 用以减少不确定性的东西； 3 还有其它的描述： 信息就是使概率分布发生变化的东西； 信息是反映事物的形式、关系和差异的东西，信息包含在事物的差异之中，而不在事物本身。 ⑴不确定性： 只有不确定性存在，才有信息存在，获得消息后消除了不确定性才得到信息。在一个通信系统中，收信者所获取的信息量，在数量上等于通信前后对信源的不确定性的减少量。 ⑵不确定性的度量（不确定度）： 不确定度应该等于猜测某一随机事件是否会发生的难易程度。 2.1.2 信源符号不确定性的度量(uncertainty) ⑶Hartly公