2.3二元联合信源的共熵与条件熵59.ppt

某信源可输出三个消息， 例 P30 例 2 其概率分布如表所示。 求 (1) 信源的(实际)熵？ 0 1 2 11/36 4/9 1/4 0 1 2 0 1 2 9/11 1/8 0 2/11 3/4 2/9 0 1/8 7/9 前一个消息 后一个 消息 (2) 若消息之间相互独立， (3) 信源的最大熵？ 信源的熵为多少？ (4) 信源的剩余度？ 解 首先求出联合概率。 0 1 2 0 1 2 1/4 1/18 0 1/18 1/3 1/18 0 1/18 7/46 前一个消息 后一个 消息 (1) 信源的(实际)熵即为条件熵： (2) 若消息之间相互独立，信源的熵为无条件熵： (3) 信源的最大熵即为符号之间相互独立且等概时的熵： (4) 信源的剩余度： 解 实际熵 小结 三、单个信源的实际熵和剩余度 联合熵(或共熵) 条件熵 关系式 对于无记忆信源(消息相互独立)： 对于一阶马氏链信源(消息前后关联)： 最大熵(消息相互独立，且等概) 注 对于一般的 m 阶马氏链信源的情况，也可以类似地定义 共熵、条件熵、实际熵以及剩余度等一些概念。 内熵 相对熵 剩余度 小结 三、单个信源的实际熵和剩余度 例如 关于英文字母信源的剩余度。 (1) 英文字母加上空格共有 27 个，则最大熵为 (2) 实际上，用英文字母组成英文单词，再由英文单词 组成句子时，英文字母并不是等概率出现的， 对在英文书中各符号的概率加以统计，就可以 得出各个英文字母出现的概率分布表。 在英语中 E 出现的概率远远大于 Q 出现的概率。 比如 例如 关于英文字母信源的剩余度。 (1) 英文字母加上空格共有 27 个，则最大熵为 (2) 实际上，用英文字母组成英文单词，再由英文单词 组成句子时，英文字母并不是等概率出现的， 对在英文书中各符号的概率加以统计，就可以 得出各个英文字母出现的概率分布表。 在英语中 E 出现的概率远远大于 Q 出现的概率。 比如 英文字母的无记忆信源熵为： 由此即得出 * 第二章 基本信息论 §2.3 二元联合信源的共熵与条件熵 §2.3 二元联合信源的共熵与条件熵 一、引言 二、二元联合信源的共熵与条件熵 三、单个信源的实际熵和剩余度 一、引言 在现实社会及日常生活中，常常是多个信源同时都在 1. 不同的信源之间存在相关性 产生或者发布一些消息， 中收到这些消息并获得信息量。 若消息之间相互关联，则总的信息量相应地会降低。 若消息之间相互独立，则总的信息量是这些消息所含 的信息量之和； 人们通过各种渠道从不同的信源 一、引言 1. 不同的信源之间存在相关性 比如 某信源发布一条消息 “信息论课的老师出差了”； 另一信源也发布一条消息 “下次的信息论课不上了” 。 如果单独收到这两条消息中的任何一条，都可以获得 一定的信息量。 如果同时(或依次)收到这两条消息，所获得的信息量 显然要小于两者的信息量之和。 它们之间是相互关联的。 一、引言 1. 不同的信源之间存在相关性 2. 单个信源的消息之间存在相关性 之间也存在相关性。 除了信源之间存在相关性之外，单个信源的各个消息 “ 一篇万字表、千字文 ” 以及 “ 一篇由 26 个英文字母组成 的英文文章 ” 等， 之间都有很强的关联性， 因此它们的实际信息量比想像的 要小得多。 比如前面提到过的 “ 一帧电视图像 ”、 由于像素之间、汉字之间以及英文字母 一、引言 1. 不同的信源之间存在相关性 2. 单个信源的消息之间存在相关性 后者将转化为前者来研究。 本节讨论 (1) 多个信源的联合信息量问题； (2) 单个信源的实际信息量问题。 重点讨论 (1) 两个信源的联合情况； (2) 单个信源相邻两个消息之间有关联的情况。 条件概率空间。 二、二元联合信源的共熵与条件熵 X …… …… 由这两个信源构成的联合信源的各种概率空间： 联合概率空间； Y …… …… 考虑两个信源 X 和 Y， 1. 二元联合信源 其概率空间分别为： 2. 二元联合信源的共熵 二元联合信源的共熵(或者联合熵)定义为： 定义 二、二元联合信源的共熵与条件熵 共熵(或者联合熵)反映的是每当两个信源同时发送 一对消息时，所提供的平均信息量。 3. 二元联合信源的条件熵 二、二元联合信源的共熵与条件熵 (1) 称下式为 X 给定的情况下 Y 的条件熵： 定义 (2) 称下式为 Y 给定的情况下 X 的条件熵： 3. 二元联合信源的条件熵 二、二元联