信息论与编码练习【DOC精选】.doc

是香农信息论最基本最重要的概念。 单符号离散信源一般用随机变量描述，而多符号离散信源一般用 描述。 两个相互独立的随机变量的联合自信息量等于 。 离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 。 对于n元m阶马尔可夫信源，其状态空间共有 个不同的状态。 若一离散无记忆信源的信源熵H（X）等于4.2，对信源进行等长的无失真二进制编码，则编码长度至少为 。 同时掷两个正常的骰子，各面呈现的概率都为1/6，则“3和6同时出现”这件事的自信息量是 。 一副充分洗乱的扑克牌（52张），从中任意抽取1张，然后放回，若把这一过程看作离散无记忆信源，则其信源熵为 。 具有一一对应关系的无噪信道的信道容量C= 。 信道编码定理是一个理想编码的存在性定理，即：信道无失真传递信息的条件是 。 单符号离散信源的自信息和信源熵都具有非负性。 自信息量、条件自信息量和联合自信息量之间有如下关系： 自信息量、条件自信息量和互信息量之间有如下关系： 当随即变量X和Y相互独立时，条件熵等于信源熵。 若对一离散信源（熵为H（X））进行二进制无失真编码，设定长码子长度为K，变长码子平均长度为，一般K。 信道容量C是I（X；Y）关于p（xi）的条件极大值。 离散无噪信道的信道容量等于log2n，其中n是信源X的消息个数。 率失真函数没有最大值。 率失真函数的最小值是0 。 信源编码通常是通过压缩信源的冗余度来实现的。 在编m（m2）进制的哈夫曼码时，要考虑是否需要增加概率为0的码字，以使平均码长最短。 1、αi，βj是两个码符号{0,1}组成的符号序列 ，求αi，βj 之间的汉明距离 2、已知随即变量X和Y的联合分布如下所示： 0 1 0 1/8 3/8 1 3/8 1/8 试计算：H（X）、H（Y）、H（XY）、H（X/Y）、H（Y/X）、I（X；Y） 3、一个消息由符号0，1，2，3组成，已知P(0)=3/8,P(1)=1/4, ,P(2)=1/4, ,P(3)=1/8,试求由60个符号构成的消息所含有的信息量和平均信息量。 4、在一个袋子里放有5个黑球、10个白球，以摸一个球为一次实验，摸出的球不再放回去。求： （1）一次实验包含的不确定度。 （2）第一次实验X摸出的是黑球，第二次实验Y给出的不确定度； （3）第一次实验X摸出的是白球，第二次实验Y给出的不确定度； 5、 两个实验X和Y，X＝{x1,x2,x3},Y={y1,y2,y3},联合概率p(xiyj)=pij已经给出。（p11=7/24,p12=1/24,p13=0,p21=1/24,p22=1/4,p23=1/24,p31=0,p32=1/24,p33=7/24） （1）如果有人告诉你X和Y的实验结果，你得到的平均信息量是多少？ （2）如果有人告诉你Y的实验结果，你得到的平均信息量是多少？ （3）在已知Y实验结果的情况下，告诉你X的实验结果，你得到的平均信息量是多少？ 6 黑白传真机的消息源只有黑色和白色两种，即X∈{黑，白}，一般气象图上，黑色的出现概率p(黑)＝0.3，白色出现的概率p(白)＝0.7. （1）假设黑白消息前后无关，求信源熵H(X)。 （2）实际上各个元素之间关联，其转移概率为：P(白/白)＝0.9143，p(黑/白)＝0.0857， P(白/黑)＝0.2，p(黑/黑)＝0.8，求这个一阶马尔可夫信源的信源熵。并画出转移图。 （3）比较两种信源熵的大小，并说明理由。 7设有一个二进制马尔可夫信源，其信源符号为X∈（0，1），条件概率为：P(1/1)=0.5, P(0/0)=0.25, P(0/1)=0.50, P(1/0)=0.75,.画出状态图并求出各稳态概率。 8、一阶马氏链信源有三个符号{u1,u2,u3},转移概率为：P(u1/u1)=1/2, P(u2/u1)=1/2, P(u3/u1)=0, P(u1/u2)=1/3, P(u2/u2)=0, P(u3/u2)=2/3, P(u1/u3)=1/3, P(u2/u3)=2/3, P(u3/u3)=0.画出状态图并求出状态的稳态概率。 9 信源符号X有6种字母，概率为（0.32，0.22，0.18，0.16，0.08，0.04）. （1）求符号熵H(X). （2）用香农编码编成二进制变长码，计算其编码效率。 （3）用费诺编码编成二进制变长码，计算其编码效率。 （4）用哈夫曼编码编成二进制变长码，计算其编码效率。 （5）用哈夫曼编码编成三进制变长码，计算其编