信息论与编码 教学课件 作者 张莲 周登义 余成波 3.ppt

第三章 信源与信息熵 3.1 信源分类及其数学模型 3.2 离散无记忆信源 3.3 离散无记忆信源的扩展信源 3.4 离散平稳信源 3.5 马尔可夫信源(了解) 3.6 信源的相关性和剩余度 3.7 连续信源及其熵(了解) 3.1 信源分类及其数学模型 一、信源分类 1、平稳的概念： 在数学上，如果各维随机变量的概率分布不随时间的推 移而变化，则称该随机过程是平稳的；否则是非平稳的。 2、本课程讨论的主要内容： 一个实际的信源统计特性相当复杂，要想找到精确的数 学模型很困难。实际应用时常常用一些可以处理的数学模型 来近似。比如：语音信号就是一个非平稳的随机过程，但常 常用平稳随机过程来近似。 注意：本课程讨论的信源均是平稳的 3、信源的分类： 从信源所发消息是否连续，可划分为： 1）离散信源 指能发出离散消息的信源。离散消息由一系列的离散符号 组成的时间或空间序列来表示。例如：英语可以看成由一个个 单独的英文字母组成。汉字文章也可以看成由一个个单独的汉 字组成。这些英文字母和汉字在时间在是分开的，所以说它们 在时间上是离散的。 2）连续信源 指发出的消息是某一随机过程中的一个样本函数，它是一 个时间上的连续函数，比如语音信号、电视信号就是连续信 号 。 二、离散信源的数学模型 显然， 满足完备性。 三、连续信源的数学模型 其中 ： 为连续随机变量X的概率密度函数， 为 X 的取值范围，并满足 3.2 离散无记忆信源 根据离散信源先后发出的符号之间是否彼此相关，即统计 独立的，可将离散信源分为离散无记忆信源和有记忆信源。 1、离散无记忆信源： 信源发出的符号之间彼此无关，即统计独立的。 例如： 二元信源，其信息熵 H（X）的计算见教材P26页。 2、离散有记忆信源： 信源发出的符号之间彼此相关，且有限相关。 3.3 离散无记忆扩展信源（延长信源） 一、扩展信源： 指能发出由多个符号构成的整体消息的信源。为分析简单 ，若假定各个符号的出现是彼此无关的（一般地，构成整体消 息的多个符号是相互依赖的），这种信源就称为离散无记忆扩 展信源。 若信源的每个消息均由N个符号构成，则称为N次扩展源。 二、离散无记忆N次扩展信源的消息概率的计算 若对离散无记忆信源 X 作 N 次扩展，扩展信源用 表示。 若信源 X 取自于符号集 则 N 次扩展信源的消息共有 个。 那么，各个消息的概率可按以下公式计算： 例如：有一个离散无记忆的二进制信源X ，用下面的概率 空间来表示： 若对信源X进行二次扩展，则一个消息由两个符号构成。共 有4个消息，其概率空间为： 若对信源X进行三次扩展，则一个消息由三个符号构成。共有 个消息，其概率空间为： 三、离散无记忆 N 次扩展信源的熵计算 证明：由前面熵的性质知，若构成联合信源的各信源相互独立，则有： 计算举例： 见教科书P48页例3.3.1 例如： 一个消息符号由0、1、2、3组成，已知：P（0）=3/8，P（1） =1/4，P（2）=1/4，P（0）=1/8。 试求由无记忆信源产生的60个符号构成的消息的平均自信量。 练习与作业 P69 3.2（典型离散无记忆信源熵的计算） 3.3（信源熵与序列熵的区别） 3.1（扩展信源的概率计算） 3.4 离散有记忆平稳信源 一、定义： 若离散平稳信源发出的消息中，构成消息的各符号之间是 彼此相关的，这种信源就称为有记忆平稳信源。 1）为分析简单起见，假定每个消息由 2 个符号构成（概率空 间见P50），信源发出的消息可记为： 若 都取自于同一符号集合： 上述的信源就是离散有记忆平稳信源。 该信源发出的消息共有 个，信源的熵为联合熵： 该联合熵是用来度量由2个符号构成的消息序列的平均信息量。 而信源每个符号的熵(平均符号熵)的计算： 2）若信源发出的消息由 N 个符号构成，则信源 X 可表示 为： ，其联合熵为(消息所含的平均信息量)： 平均符号熵(每个符号所含的信息量)可以表示为： 在已知前面 N-1 个符号的条件下，第 N 个符号的平均信息量 可以用条件熵来表示： 3）对于离散有记忆平稳信源，有如下结论成立： 1.条件熵 随 N 的增加而递减。 2.