信息论与编码总复习.doc

“信息论与编码”总复习 ***************************************************************************** 简要 ***************************************************************************** 第二章 信源与信息熵 1．每次只发出一个符号代表一个消息的信源叫做发出单个符号的无记忆信源。 2．由一系列符号组成，这种用每次发出1组含2个以上符号序列来代表一个信息的信源叫做发出符号序列的信源。 3．信源发出的序列的统计性质与时间的推移无关，是平稳的随机序列。 4．当信源的记忆长度为m+1时，该时刻发出的符号与前m个符号有关联性，而与更前面的符号无关，这种有记忆信源叫做m阶马尔可夫信源。若上述条件概率与时间起点无关，则信源输出的符号序列可看成齐次马尔可夫链，这样的信源叫做齐次马尔可夫信源。 5．例题：稳态分布概率|稳定后的符号概率分布： 符号条件概率矩阵：状态转移概率矩阵 令各稳态分布概率为W1,W2,W3,W4： 得稳态分布的概率：W1=3/35 W2=6/35 W3=6/35 W4=4/7稳定后的符号概率分布： 6．定义具有概率为的符号的自信息量为： 7．自信息量具有下列特性：（1）（2）（3）非负性（4）单调递减性（5）可加性 8．信源熵是在平均意义上来表征信源的总体特征，它是信源X的 函数，一般写成H（X）。 9．平均自信息量、平均不确定度、信源熵： 10．条件熵： 11．联合熵： 12．联合熵H(X,Y)与熵H(X)及条件熵H(Y|X)的关系： 13.互信息: 14.熵的性质：非负性，对称性，确定性，极值性。 （1）非负性： （2）对称性： （3）确定性：（只要信源符号表中有一个符号出现概率为1，信源熵就等于零） （4）香农辅助定理：对于任意n维概率矢量 和，下列不等式成立： （5）最大熵定理：离散无记忆信源输出M个不同的信息符号，当且仅当各个符号出现概率相等时，熵最大。 （6）条件熵小于无条件熵：条件熵小于信息熵，当且仅当 y和x相互独立时，，取等号。 15．数据处理过程中会丢失一些信息，绝不会创造新信息，即所谓信息不增性。 16．无记忆平稳信源序列熵： 17．平均符号（信息）熵： 第三章 1.信道的分类 根据用户数可以分为，单用户和多用户；根据输入端和输出端可以分为无反馈和反馈信道；根据信道参数与时间可以分为固定参数和时变参数；根据信道受噪声种类分为随机差错信道和突发差错信道根据输入输出信号的特点分为离散信道，连续信道，半离散半连续，波形信道 2信道容量 C=含义，表征信道能传输的最大信息量，或者信道的最大传输能力。 3，DMC信道容量Clogm-H（Y|）=logm+log 第四章 1．一般失真函数：，失真矩阵： 2．均方失真：=，绝对失真：=||，相对失真：=||/||，误码失真：== 3.对于连续随机变量的平均失真 ；L长序列编码的为 4，信息率失真函数：R（D）=minI（X，Y）；对于无记忆信源 R（D）= 5.互信息的关系：I（X；Y）=H（Y）-H（Y|X）=H（X）-H（X|Y） 6.R（D）的计算 (1)当=，p（x）=，R（D）=log （2）当=||，P（x）=，R（D）=log （3）当=，p（x=0）=p，p（x=1）=1-p，R（D）=H（p）-H（D） 第五章 信源编码 1．分组码:将信源消息分成若干组，即符号序列，，序列中的每个符号取自符号集A，。而每个符号序列依照固定的码表映射一个码字，这样的码称为分组码，也叫快码。 2．码可以分为固定长度码和变长码； 分组码又分为奇异码和非奇异码；若信源符号和码字是一一对应的，该码为非奇异码，反之为奇异码。 非奇异码又分为非唯一可译码和唯一可译码；任意有限长的码元序列，只能被唯一分割成一个个码字，称唯一可译码；注：奇异码不是唯一可译码，而非奇异码中有唯一可译码和非唯一可译码。 唯一可译码又分为非即时码和即时码；接收端收到一个完整的码字后，不能立即译码，还需等下一个码字开始接受后才能判断是否可以译码，称为非即时码，即时码又称非延时码，任意一个码字都不是其他码字的前缀部分，叫异前缀码。 3．唯一可译码的充要条件： 4．定长编码定理：由L个符号组成的、每个符号的熵为的无记忆平稳信源符号序列（）,可用个符号(每个符号有m种可能值)进行定长编码。对任意,则当L足够大时，必可使译码差错小于；当时，译码差错一定是有限值。当L足够大时，译码几乎必定出错。 5．编码效率：,其中为平均符号熵。 最佳编码效率： 6单个符号变长编码定理：若离散无记忆信源的符号熵为,每个信源符号用m进制码