信息论第2章2010课件.ppt

第2章 离散信源及其信息度量  本章内容 2.1 信源的分类及描述 信源：是发出消息的源，信源的输出的是以符号形式出现的具体消息。 2.2 信源的数学模型 2.3 离散信源信息的度量与信源熵 一、自信息量I(xi)和信息熵H(X) 2、平均自信息量H(X) 2、平均自信息量H(X) 二、联合自信息量I(xi,yj)和联合熵H(X,Y) 三、条件自信息量I(xi/yj)和条件熵H(X/Y) 2、条件熵 四、各种熵的关系 五、互信息和平均互信息 2.4 信息熵的基本性质 2.5离散无记忆的扩展信源 例题： 2.6 离散平稳信源 思考的问题 写出离散平稳信源的序列熵和平均符号熵的计算式。它们是否适用于离散无记忆信源？ 极限熵的含义是什么？当消息符号只与前面m个符号有依赖关系，而与更前面发出的符号无依存关系时，此时的极限熵如何表达？ 2.7 马尔可夫信源 3.马尔可夫信源的状态转移概率 复 习 m阶齐次遍历的马尔可夫链的极限熵 时齐遍历的马尔可夫信源极限熵的求解步骤 例题： 2.8 信源的相关性和剩余度 第2章 小结 信源的数学模型 信息的度量 自信息和信息熵 联合自信息和联合熵 条件自信息和条件熵 熵函数的性质 m阶马尔可夫信源 记忆长度为m+1的有限记忆信源，称为m阶马尔可夫信源。 将该时刻以前出现的m个符号组成的序列定义为状态Si 状态转移概率 符号条件概率 稳态后的符号的极限概率： 如何计算m阶齐次遍历的马尔可夫链的极限概率？ 0.2 0.5 0.5 0.8 0.8 0.5 0.5 0.2 00 01 10 11 符号1 符号0 起始状态 例题：有一个二阶马尔科夫链X ∈{0，1}，其条件概率如下表所示，状态变量E={00，01，10，11} 0 0.5 0 0.8 0 0.5 0 0.2 0.2 0 0.5 0 0.8 0 0.5 0 00 01 10 11 终止状态sj=11 终止状态sj=10 终止状态sj=01 终止状态sj=00 终止状态 起始状态si 计算： （1）稳定后的状态概率分布； （2）稳定后的符号概率分布。 P（ak|Ei） P（Ej|Ei） 对于m阶马尔科夫信源，极限熵为 复习：极限熵的定义 二、m阶齐次遍历的马尔可夫链的极限熵 概率 是马尔可夫链的状态的极限概率。 条件熵函数 表示信源处于某一状态 时， 发出一个消息符号的平均不确定性。 其中， m阶齐次遍历的马尔可夫链的极限熵 2）m阶齐次遍历的马尔可夫链的极限熵 特殊地，对于一阶马尔可夫链的极限熵 一阶马尔可夫信源的状态空间Ei就等于信源符号集ai 1、根据状态转移图，写出一步转移概率矩阵，计算信源所处状态的稳态分布； 3、计算信源的极限熵。 2、由符号条件概率 计算条件熵函数。 一阶马尔可夫信源的状态空间Si就等于信源符号集ai 某一无记忆信源的符号集为{0，1}，已知p(0)=1/4, p(1)=3/4。 （1）求符号的平均熵； （2）由100个符号构成的序列，求某一特定序列（例如有m个0和100-m个1）的自信息量的表达式； （3）计算（2）中的序列的熵。 解：（1）因为信源是无记忆信源，所以符号的平均熵 （2）某一特定序列（例如：m个0和100-m个1）出现的概率为 所以，自信息量为 （3）序列的熵 一般来说，信源输出的随机序列的统计特性比较复杂，分析起来也比较困难。为了便于分析，我们假设信源输出的是平稳的随机序列，也就是序列的统计性质与时间的推移无关。很多实际信源也满足这个假设。 2、序列中平均每个符号的熵（即平均符号熵）为： 1、序列熵（单位为bit/序列） 二、离散平稳信源的序列熵 当N=2时，可以证明 3、关于“离散平稳信源”的几个结论 例如： 例如： 即：当N给定时，平均符号熵不小于条件熵。 推广结论3可得： 4、实际应用中如何计算极限熵？ 特别地，如果信源序列只是前后两个符号之间有关联性，则极限熵为 实际极限熵的近似值： 对于一般的平稳信源，按定义式来计算极限熵很困难。 1）有限N下的条件熵 2）有限N下的平均符号熵 实际中信源发出的消息符号往往只与前面若干个（比如m个）符号有较强的依赖关系，而与更前面发出的符号依存关系较弱，为此可限制随机序列的记忆长度（m+1），称为有限记忆信源（即ｍ阶马尔可夫信源）。 记忆长度为m+1的有限记忆信源，条件概率表示为： 一、马尔可夫信源（即：有限记忆长度信源） m阶马尔可夫信源 将该时刻以前出现的m个符号组成的序列定义为状态Ei 信源在某一时刻出现符号xj的概率与此时所处的状态Ei有关，用符号条件概率表示为： 当信源符号xj出现后，信源所处的状态将发生变化，转入