电子科技大学 第3章 渐近均分性与香农第一定理.pdf

渐近均分性与香农第一定理 第3 章渐近均分性与香农第一定理 n 次扩展信源有什么特性？ 香农第一定理明确了什么？ 渐近均分性与香农第一定理 3.1 n 次扩展信源 1、n 维离散平稳信源 定义 多符号离散信源对任意两个不同时间起点k和l ，概 率及直到n 维的各维联合概率相同 渐近均分性与香农第一定理 渐近均分性与香农第一定理 2 、n 维离散平稳信源的联合熵 n  H (X )  k k 1 nH (X ) 渐近均分性与香农第一定理 3 、n 维离散平稳无记忆信源/n 次扩展信源 定义 n 维离散平稳信源的符号序列中各符号相互独立 渐近均分性与香农第一定理 表示 X n P (X n ) n 维离散平稳无记忆信源—— 独立同分布，相当于 单符号离散信源的n 次扩展信源 渐近均分性与香农第一定理 4 、n 次扩展信源的联合熵 n H (X k ) k 1 nH (X ) 渐近均分性与香农第一定理 例1 X x1 x 2 x3    P(X) 1/ 2 1/ 4 1/ 4   二次扩展信源及联合熵 二次扩展信源 2 X x x x x x x x x x x x x x x x x x x   1 1 1 2 1 3 2 1 2 2 2 3 3 1 3 2 3 3 2   P(X ) 1/ 4 1/ 8 1/ 8 1/ 8 1/ 16 1/ 16 1/ 8 1/ 16 1/ 16 渐近均分性与香农第一定理 二次扩展信源的联合熵 3 3 H(X X ) P(x x ) log P(x x ) 1 2 i i i i 1 2 1 2 i 1 i 1 1 2 1 1 1 1 1 1  log 4  log 4  log 3(bit ) 4 4 8 8 16 16 3 H(X)  P(x ) log P(x )  i i i 1 1 1 1 1  log 2  log 1.5(bit ) 2 2 4 4 2 H(X )