第二章上课 信源熵.pptVIP

(1) 随机矢量/随机变量序列 多符号离散信源可用随机矢量/随机变量序列描述，即 X=X1,X2,X3，… 信源在不同时刻的随机变量Xi和Xi+r的概率分布P(Xi)和P(Xi+r)一般来说是不相同的，即随机变量的统计特性随着时间的推移而有所变化。 (3) 多符号离散平稳信源 为了便于研究，假定随机矢量X中随机变量的各维联合概率分布均不随时间的推移变化。或者说，信源所发符号序列的概率分布与时间的起点无关，这种信源称为多符号离散平稳信源。 1.信源的分类 无记忆信源 当信源中的各个消息相互统计独立时，称信源为离散无记忆信源。 P(xi/x1x2…xi-1)=p(xi) 有记忆信源 已经出现的符号对将要出现的符号有影响，这种信源叫做有记忆信源。 例3-4 汉语是有记忆的。 有记忆信源又分为有限记忆信源和无限记忆信源 。 如果信源将要发出的消息符号只与前面的m个符号有关，与更前面的符号无关 P(xi/xi-1xi-2…xi-mxi-m-1…x1)= P(xi/xi-1xi-2…xi-m),则该信源称为有限记忆信源。记忆长度为m。 如果信源将要发出的消息符号与前面已经发出的所有符号都有关， P(xi/xi-1xi-2…xi-mxi-m-1…x1)，则该信源称为无限记忆信源。 离散无记忆信源的特点 3.3.2 离散无记忆信源的扩展信源及其熵 汉语中更多地考察的是句子，而不是汉字，英语中更多地考察地是单词而不是字母，图像中更多地考察的是整幅图像而不是像素。实际通信中信源往往不是发送单个字符，而是字符序列。因此有必要研究N次扩展信源。 例 N次扩展信源的例子。 ② 序列的成组传送 把信源输出的序列看成是一组一组发出的。 例1：电报系统中，可以认为每二个二进制数字组成一组。这样信源输出的是由二个二进制数字组成的一组组符号。这时可以将它们等效看成一个新的信源，它由四个符号00，01，10，11组成，把该信源称为二进制无记忆信源的二次扩展。 例2：如果把每三个二进制数字组成一组，这样长度为3的二进制序列就有8种不同的序列，可等效成一个具有8个符号的信源，把它称为二进制无记忆信源的三次扩展信源。 二进制无记忆信源的N次扩展：把每N个二进制数字组成一组，则信源等效成一个具有2N个符号的新信源，把它称为二进制无记忆信源的N次扩展信源。 定义3.4 平稳随机序列： 所谓平稳是指序列的统计性质与时间的推移无关。 非平稳随机序列：信源每发一个符号的概率与时间起点有关。 马尔可夫信源的定义 【定义】若离散平稳信源在某时刻发出的符号仅与在此之前发出的有限个符号有关，而与更早些时刻发出的符号无关，这类信源称为马尔可夫（MovKov）信源。 马尔可夫信源的定义 有限记忆信源：当前要输出的这个符号只与前面已经输出的m个符号有关。 定义3.5 称X为m阶马尔可夫信源。 3.4.1 马尔可夫信源的定义 【特殊说明】 n阶马尔可夫信源只与前面发出的n个符号有关，即关联长度为n+1。 当n=1时，即任何时刻信源符号发生的概率只与前面一个符号有关，则称为一阶马尔可夫信源。 状态是马尔可夫信源中一个重要概念，m阶马尔可夫信源的状态由m个信源符号构成。如果信源有n个符号，则m阶马尔可夫信源共有nm中状态。 信源在某一时刻出现符号概率xj与信源此时所处状态si有关，用符号条件概率表示p(xj/si)，状态转移概率表示为p(sj/si) 假设当前所处的状态为sk=xi-1xi-2…xi-m ，则发出符号xi之后，状态变为sl=xixi-1xi-2…xi-m+1 。因此马尔可夫信源中符号对符号序列的依赖关系就变为状态对状态的依赖关系，即 P(xi/xi-1xi-2…xi-m )=p(sl/sk) p(xj/si) :表示在状态si下出现符号xj概率，当信源符号xj出现后，信源所处的状态发生变化，并转入一个新的状态。这种状态转移可用状态转移概率表示为p(sj/si) p(sj/si)：表示从状态si到状态sj的概率。 pi j (m，n):表示从状态si经n-m步到状态sj的概率。 特别关心n-m=1情况，pij(m,m+1)，记为pij(m)，称为基本转移概率，或一步转移概率。 有限状态马尔可夫链 马尔可夫链并不是信源，它体现的是一种状态和状态之间的一环扣一环的性质，因此称为链。 描述马尔可夫链的数学工具是状态转移矩阵和状态转移图。 已知系统当前处于状态 sk ，则系统将要达到的状态sl的概率为pkl=p(sl/sk),由于所有可能的状态有J个，因此共有J*J个这样的概率组成一个矩阵 P=