信息论讲义4.ppt

① 实际信源近似为平稳信源 实际信源可能是非平稳的，极限熵H∞不一定存在。 假设它是平稳的，测得N足够大时的条件概率P(XN/X1X2…XN-1) ，再计算出平均符号熵HN(X)，近似极限熵H∞ 。 ② 离散平稳信源近似为马尔可夫信源 计算N足够大时的HN (X)往往也十分困难，可进一步假设离散平稳信源是m阶马尔可夫信源。信源熵用m阶马尔可夫信源的熵Hm+1来近似，需要测定的条件概率要少的多。近似程度的高低取决于记忆长度m。 越接近实际信源，m值越大；反之对信源简化的越多，m值越小。 最简单的马尔可夫信源记忆长度m=1，信源熵H2= H1+1= H(X2/X1)。 当m=0时，信源变为离散无记忆信源，其熵可用H1(X)表示。 继续简化，假定信源是等概率分布的无记忆离散信源，这种信源的熵就是最大熵值 H0(X)=log2n。 信源符号的相关性与提供的平均信息量 把多符号离散信源都用马尔可夫信源来逼近，则记忆长度不同，熵值就不同，意味着平均每发一个符号就有不同的信息量。 log2n=H0≥H1≥H2≥…≥Hm≥H∞ 由此可见，由于信源符号间的依赖关系使信源的熵减小。如果它们的前后依赖关系越长，则信源的熵越小。并且仅当信源符号间彼此无依赖、等概率分布时，信源的熵才最大，即信源符号的相关性越强，提供的平均信息量越小。 ① 把英语看成是离散无记忆信源 英语字母26个，加上一个空格，共27个符号。 英语信源的最大熵(等概率) H0=log227=4.76(比特/符号) 英语字母并非等概率出现，字母之间有严格的依赖关系。对英文书写中27个符号出现的概率统计结果如下表。 按上表的概率分布，随机选择英语字母排列起来，得到一个输出序列： AI_NGAE_ITE_NNR_ASAEV_OTE_BAINTHA_HYROO_PORE_SETRYGAIETRWCO_EHDUARU_EUEU_C_FT_NSREM_DIY_EESE_F_O_SRIS_R_UNNASHOR… 这个序列看起来有点像英语，但不是。实际英语的某个字母出现后，后面的字母并非完全随机出现，而是满足一定关系的条件概率分布。 例如T后面出现H, R 的可能性较大，出现J, K, M, N 的可能性极小，而根本不会出现Q, F, X。即英语字母之间有强烈的依赖性。上述序列仅考虑了字母出现的概率，忽略了依赖关系。 ② 把英语看成马尔可夫信源 为了进一步逼近实际情况，可把英语信源近似看做1阶，2阶，…∞阶马尔可夫信源，它们的熵为 H2=3.32(比特/符号) H3=3.1(比特/符号) 若把英语信源近似成2阶马尔可夫信源，可得到某个输出序列： IANKS_CAN_OU_ANG_RLER_THTTED_OF_TO_SHOR_OF_TO_HAVEMEM_A_I_MAND_AND_BUT_WHISS_ITABLY_THERVEREER… 这个序列中被空格分开的两字母或三字母，组成的大都是有意义的英语单词，而四个以上字母组成的“单词”，很难从英语词典中查到。因为该序列仅考虑了3个以下字母之间的依赖关系。实际英语字母之间的关系延伸到更多的符号，单词之间也有依赖关系。 有依赖关系的字母数越多，即马尔可夫信源的阶数越高，输出的序列就越接近于实际情况。当依赖关系延伸到无穷远时，信源输出的就是真正的英语，此时可求出马尔可夫的极限熵 H∞ =1.4(比特/符号)。 写英语文章时，71%是由语言结构定好的，只有29%是写文字的人可以自由选择的。100页的书，大约只传输29页就可以了，其余71页可以压缩掉。信息的剩余度表示信源可压缩的程度。 从提高传输效率的观点出发，总是希望减少或去掉剩余度。 剩余度大的消息抗干扰能力强。能通过前后字之间的关联纠正错误。 5、 通信效率与可靠性的关系 信源编码就是通过减少或消除剩余度来提高通信效率。 信道编码是通过增加剩余度来提高通信的抗干扰能力，即提高通信的可靠性。 通信的效率问题和可靠性问题往往是一对矛盾。 补充： Information Hiding Techniques文本隐写 文本是一种使用非常广泛的数据形式，比图片等数据形式的使用更为频繁，使用的领域也更为宽广。 文本隐写工具：Ffencode、WbStego、ByteShelter、Snow、加密奇兵、InfriHide、Crypto123、Stego、Texto、Sams Big Play Maker 、Nicetext、TextHide。 补充：文本隐写技术 法轮功的信息传递：使用文本隐写工具软件Snow。 该软件使用公开对称加密算法ICE对秘密信息进行加密，再使用基于行末不可见字符的文本隐写方