信息论与编码章.docVIP

第  PAGE \* MERGEFORMAT 4 页 共  NUMPAGES \* MERGEFORMAT 4 页 离散有记忆信源的序列熵 对于有记忆信源，就不像无记忆信源那样简单，他必须引入条件熵的概念，而且只能在某些特殊情况下才能得一些有价值的理论。 对于有两个符号组成的联合信源，有下列结论：  = 1 \* GB3 ①  = 2 \* GB3 ② 式 = 1 \* GB3 ①表明信源的联合熵（即前后两个符号同时发生的不确定度）等于信源发出前一个符号的信息熵加上前一个符号已知时信源发出下一个符号的条件熵。当前后符号无依存关系时，有下列推论; 对于一般的有记忆信源如文字、数据等，它们输出的不是单个或两个符号，而是由有限个符号组成的序列，这些输出符号之间存在着相互依存的关系。可依照上述结论来分析序列的熵值。 若信源??出一个L长序列，则信源的序列熵为 （2-3-2） 记作 平均每个符号的熵为 （2-3-3） 当信源退化为无记忆时，有 若又满足平稳性，则有 这一结论与离散无记忆信源结论是完全一致的。可见，无记忆信源是上述有记忆信源的一个特例。 例 2-12 已知离散有记忆信源中各符号的概率空间为 现信源发出二重符号序列消息，这两个符号的概率关系性用条件概率表示，并由表2-6给出。可以求出信源的序列熵和平均符号熵。 表2-6 条件概率表示两个符号的关联性    9/112/1101/83/41/802/97/9 条件熵 单信号信源熵 发二重符号序列的熵 平均符号熵 比较上述结果可得 ，即二重序列的符号熵值较单符号熵变小了，也就是不确定度减小了，这是由符号之间存在的关联性（相关性）造成的。 考虑离散平稳信源，其联合概率具有时间推移不变性，即 此时有下列结论： 结论1 是L的单调非增函数。 由于条件熵小于或等于无条件熵，条件较多的熵小于或等于一些条件的熵，考虑到平稳性，所以 （平稳性） （2-3-4） 结论2 因为 由结论1得上式中的是和式L项中最小的，所以 结论3 是L的单调非增函数。 因为 运用结论2得 （2-3-5） 该式说明随着L的增大，增加的熵值越来越小（有结论1得），这导致平均符号熵随着L的增大而减小，即 结论4 当时 （2-3-6） 式中，称为极限熵，又称极限信息量。 先证明式。根据上述结论1有 取足够大的，固定L，则前一项可忽略，而后一项系数接近于1，得 （2-3-7） 结论2和式（2-3-7）表明，条件熵的值是在和之间，令，则应等于（假设极限存在），故得