马尔可夫信源和剩余度.ppt

3.3.3 马尔可夫信源 马尔可夫信源是一类相对简单的有记忆信源，信源在某一时刻发出某一符号的概率除与该符号有关外，只与此前发出的有限个符号有关。 3.3.3 马尔可夫信源 我们把前面若干个符号看作 一个状态，可以认为信源在 某一时刻发出某一符号的概 率除了与该符号有关外，只 与该时刻信源所处的状态有 关，而与过去的状态无关。 信源发出一个符号后，信源 所处的状态即发生改变，这 些状态的变化组成了马氏链。 3.3.4 信源的相关性和剩余度 信源熵的相对率 信源的剩余度来自两个方面，一是信源符号间的相关性，相关程度越大，符号间的依赖关系越长，信源的实际熵越小，另一方面是信源符号分布的不均匀性使信源的实际熵越小。 为了更经济有效的传送信息，需要尽量压缩信源的剩余度，压缩剩余度的方法就是尽量减小符号间的相关性，并且尽可能的使信源符号等概率分布。 从提高信息传输效率的观点出发，人们总是希望尽量去掉剩余度。但是从提高抗干扰能力角度来看，却希望增加或保留信源的剩余度，因为剩余度大的消息抗干扰能力强。 信源编码是减少或消除信源的剩余度以提高信息的传输效率，而信道编码则通过增加冗余度来提高信息传输的抗干扰能力。 BUPT Press *北京邮电大学出版社 Beijing University of Posts and Telecommunications Press 例 一步转移概率矩阵 m阶马尔可夫信源的条件概率 m阶马尔可夫信源的极限熵 例3.5 设有一个二元2阶马尔可夫信源，其信源符号集为 解得 计算极限熵 实际信源 平稳信源 m阶马尔可夫信源 1阶马尔可夫信源 无记忆信源 举例 信源的剩余度（冗余度） 英文的冗余度 信息变差 * *