中山大学 信息论基础 chapter3.pdf

第三章 离散信源 中山大学 数据科学与计算机学院 本章内容 ▲ 离散信源的分类与数学模型 ▲ 离散无记忆信源的熵 ▲ 离散平稳信源的熵 ▲ 有限状态马尔可夫链 ▲ 马尔可夫信源 ▲ 信源的相关性与剩余度 3.1 离散信源的分类与数学模型 ▲ 信源离散信源的分类 ▲ 离散信源的数学模型 3.1.1 离散信源的分类 ▲ 根据信源符号取值→连续/离散 ▲ 有限离散信源/无限离散信源 ▲ 根据输入符号间的依赖关系→无记忆/有记忆 ▲ 平稳信源/非平稳信源 3.1.2 离散无记忆信源的数学模型 ▲ 单符号离散无记忆信源的数学模型： X  a  a    1 n     P p (a )  p (a )    1 n  n p (a )  0, p (a ) 1 i i i 1 注释  A={a ，…，a } →信源的符号集 1 n  n →符号集的大小  a →随机变量的取值 i  p(a ) → X= a 的概率。 i i 单符号离散无记忆信源 例 3.1.1 一个二元无记忆信源，符号集A={0,1}, p为 X=0的概率,q为X=1的概率，q=1-p；写出 信源的模型。 X 0 1     解： 信源的模型：      P  p q 3.1.2 离散无记忆信源的数学模型 ▲多维 （多符号）离散无记忆信源 数学模型: X N           1 M    p( )  p( ) P   1 M  注释 每个事件是一个N维矢量。 离散无记忆信源的N次扩展源 ▲ 信源X的N次扩展源 ：设信源为X，由X构成的N维 随机矢量集合 X N  X X ,,, X , ( X 与X同分布) 1 2 N i ▲ 信源与其扩展源的关系： X X N X X ,,,X