离散信源的熵.pptVIP

* 第二章 基本信息论 §2.2 离散信源的熵 §2.2 离散信源的熵 一、熵的概念 二、基本性质 一、熵的概念 即 信源 X 的平均自信息量称为信源熵，记为 定义 其中， 为消息符号 出现的概率， 为信源的状态数。 由于 因此熵实际上是一个 元连续函数。 可见，熵是信源概率空间的函数， 一般还可写成 分别为 求信源熵。 例 设信源 X 只有两个消息符号 各符号出现的概率 解 ( bit ) 它是 q 的函数，其图形如下。 当 q = 0 或 q = 1 时， 当 0 q 1 时， 当 q = 0.5 时， 0.5 1 1 q 考察 达到最大。 例 设离散信源的消息符号为 26 个英文字母，每个字母等概 出现，求信源熵。 解 ( bit ) 1. 非负性 由 证 二、基本性质 2. 对称性 即 与概率向量 的分量排列顺序无关， i j i j 表明熵反映的是信源的总体统计特性。 3. 确定性 当且仅当概率向量 中有一个为 1，其余的为 0 时， (1) 若 证 (2) 若 由于 或 又由于 故 中只有一个为 1，其余的为 0。 表明确定性的信源不含有任何信息量，其信源熵必为 0。 二、基本性质 4. 扩展性 证 说明虽然小概率事件的信息量很大， 不会出现，故熵几乎不变。 二、基本性质 但由于该事件几乎 反映了熵的总体平均性。 5. 极值性 (最大离散熵定理) 二、基本性质 记为 当且仅当 时，等号成立。 当信源中的事件为等概率分布时，信源熵最大。 表明势均力敌时，最难预测。 表明 “三选一” 比 “二选一” 更难； 等概分布时，信源熵 为 N 的单增函数。 “四选一” 比 “三选一” 更难；……。 1 证明 方法一 (利用对数函数的性质) 当且仅当 x = 1 时，等号成立。 (如右图)； 当且仅当 即 时，等号成立。 证明 方法二 (利用凸函数的性质) 当且仅当 时，等号成立。 若 为严格“上凸”函数，则有 其中 且 当且仅当所有节点 重合时，等号成立。 由于 为严格上凸函数， 且 故 轻松一下吧 ……