[理学]信息论 第三章xin 2.ppt

第三章信源及信源熵 信源 描述 输出信息的能力 3.1信源的分类及其数学模型 时间 取值 离散 离散 离散 连续 连续 连续 连续 离散 平稳信源：随机变量的概率分布（统计特性）不随时间改变 非平稳信源：随机变量的概率分布（统计特性）随时间改变 有记忆信源：随机变量统计独立 无记忆信源：随机变量有依赖关系或制约关系 3.2离散单符号信源 特点：消息两两不相容，信源每次输出其中的一个消息。 离散单符号信源的平均不确定性： 用熵来描述 举例 例3.1 3.3离散多符号信源 实际信源输出的往往是符号序列 X=x1x2. .. 如：电报 电话 系统 离散平稳信源：对于离散随机变量序列，X1,X2,. . .在任意两个不同时刻i和j，信源发出的消息序列的概率分布完全相同。 条件概率 得出： 思考：离散多符号信源怎样表示信源的评价不确定性呢？ 信源的平均不确定性： 熵率：表示信源的平均不确定性，表示信源输出的符号序列中，平均每个符号所携带是的信息量。 定义3.2 随机变量序列中，对前N个随机变量的联合熵求平均： 3.3.1离散平稳无记忆信源 平稳：每个变量的统计特性相同 无记忆：每个随机变量之间统计独立 N次扩展信源的熵等于单符号离散信源熵的N倍。 离散平稳无记忆信源的熵率 举例 3.2 设有一离散无记忆信源X，其概率空间为 举例3.2 有一无记忆信源的符号集为{0，1}，已知信源的概率空间为 3.3.2离散平稳有记忆信源 熵函数的链规则： 离散平稳信源的结论 （1）条件熵 (2)N给定时平均符号熵大于等于条件熵 （3）平均符号熵 随N的增加是递减的 证明 (4) 由于信源输出序列前后符号之间的统计依赖关系，随着序列长度N的增加，也就是随着统计约束条件不断增加，平均符号熵 及条件熵 均随之减少。 当 时 即为熵率，它表示信源输出的符合序列中，平均每个符号所携带的信息熵。 求熵率的两种途径： 1.极限平均符号熵 2.极限条件熵 3.1证明 马尔可夫性： 平稳信源输出的符号序列中，符号之间的相关性可以追溯到最初的一个符号 举例 一篇文章的最后一句话可以一直追溯到开篇第一句话。 如何计算熵率？？？ 复杂 马尔可夫性：某时刻发出的符号仅与在此之前的有限个符号有关，而与更早些时候发出的符号无关。 马尔可夫信源是一类相对简单的有记忆信源，信源在某一时刻发出某一符号的概率除与该符号有关外，只与此前发出的有限个符号有关。 M阶马尔可夫信源只与前面发出的m个符号有关 1阶马尔可夫信源只与前面一个符号有关 m阶马尔可夫信源，熵率： 举例 3.3信源X的信源模型为 3.5二次扩展信源的熵为 ,而一阶马尔科夫信源的熵为 ,试比较两者的大小，并说明原因。 3.3.3马尔可夫信源 M阶 信源有q个可能的输出符号。 信源发出一个符号，状态发生改变。 信源输出符号不确定性问题变成信源状态转换的问题。 举例 举例 齐次马尔可夫链:如果在马尔可夫链中, 从状态 转移到状态 的概率与起始时刻m无关,则称这类马尔可夫链为齐次马尔可夫链,也成为具有平稳转移概率的马尔可夫链 转移概率具有平稳性 遍历性：若齐次马尔可夫链对一切i,j存在不依赖于i的极限： 遍历的马尔可夫信源熵率: (1)齐次的马尔可夫信源:视作平稳的信源来处理 遍历的马尔可夫信源都是齐次的 遍历的马尔可夫信源:视作平稳的信源来处理 (2) m阶马尔可夫信源: 只与最近的m个符号有关. 举例3.6 3.6一个马尔可夫过程的基本符合为0，1，2，这3个概率等概率出现，并且具有相同的转移概率 （1）画出一阶马尔可夫过程的状态图，并求稳定状态下的一阶马尔可夫信源熵H1和信源剩余度。 （2）画出二阶马尔可夫过程的状态图，并求稳定状态下的一阶马尔可夫信源熵H1和信源剩余度。 3.7一阶马尔可夫信源状态转移图如图所示，信源X的符号集为（0，1，2） （1）求平稳后的信源的概率分布 （2）求信源熵 （3）求当p=0或p=1时信源的熵，并说明理由 信源存在冗余？？？ 3.3.4信源的相关性和剩余度 冗余度来自两个方面：符号间的相关性； 信源输出消息不等概分布 举例 心肌梗塞患者病情发展各个阶段时病人血清中蛋白质谱的信息指标。为此，我们先就一健康人的血清中蛋白质谱的分布为例，说明求信息指标的方法。利用纸上电泳法，得出血清中蛋白质种类的百分含