2信源与信息熵3.pdf

2.3 离散序列信源的熵 • 通常，实际信源每次输出的往往不是单个的 符号符号，而是而是一个个符号序列符号序列。通常通常一个消息序个消息序 列的每一位出现哪个符号都是随机的，(一般 前后符号之间的出现是有统计依赖关系的前后符号之间的出现是有统计依赖关系的，)) 这种信源称之为离散序列信源序列信源。 • 信源所发符号序列的概率分布信源所发符号序列的概率分布与时间的起点与时间的起点 无关，这种信源我们称之为离散序列平稳平稳信 源源。 • 本节在首先讨本节在首先讨论无无记忆忆信源后信源后，对于有对于有记忆忆 信源只讨论两种情况：平稳有记忆信源序列 和和齐次可齐次可遍历马氏链历马氏链信源信源。 2.3.1 离散无记忆序列信源的熵 • 如果有一个离散无记忆信源X ，取值于集合 X={xX={x ，xx ，…，xx }}，其输出其输出消息消息消息消息序列序列序列序列可用若可用若 1 2 l 干个长度为L 的序列来表示，即等效于一个新 的信源的信源((XX 的的LL重重//次次扩展信源扩展信源)) 。 • 新信源每次输出的是长度为L 的消息序列，用 LL维离散维离散随机随机向量向量//矢量矢量来描述来描述XX=(X(X1，XX2 ，…， XL) ，其中每个分量都是随机变量Xi(i=1 ， 22，…，L)) ，它们都取值于它们都取值于同同一集合集合{{x ， 1 x ，…，x }，且分量之间统计独立，则由随 2 n 机向量机向量X组成的新信源称为离散无记忆信源组成的新信源称为离散无记忆信源X 的L重/次扩展信源，这是最简单的符号序列 无记忆信源无记忆信源。 离散无记忆信源的序列熵 • 设信源输出的随机序列为X=(X1，X2 ，…， XXL)) ，序列长为序列长为LL，序列中的变量为序列中的变量为XXl ∈∈{{x ， 1 x ，…，x }。随机序列的概率为 2 n p (X x ) p (X x ,X x ,,X x ) i 1 i1 2 i2 L iL p (x )p (x / x )p (x / x x ) p (x / x x x ) i1 i2 i1 i3 i1 i2 iL i1 i2 iL1 p (x )p (x / x )p (x / x2 ) p (x / xL1) i1 i2 i1 i3 i1 iL i1 式中式中,xLL11 x x x i1 i1 i2 iL1 • 对对无记忆无记忆信源信源，，条件概率等于无条件概率条件概率等于无条件概率，，故故 L pp ((x )) pp ((x x x )) pp ((x )) ii ii11 ii22 iLiL  ilil l 1 •• 可以证明可以证明，，序列信源的序列信源的序列熵序列熵序列熵序列熵 （（联合熵联合熵））为为 L