2004信息论基础试题.doc

2004 一填空题（本题10分，每小题1分） 信息论是应用近代数理统计方法研究信息的传输、存储与处理的科学，故称为 1 ；1948年香农在贝尔杂志上发表了两篇有关的“通信的数学理论”文章，该文用 2 对信源的不确定性的度量，是衡量信息量大小的一个尺度；用 3 来度量两事件的依赖程度，表现在通信领域就是输入和输出两事件的相互的信息量，若把它取最大值，就是通信线路的 4 ，若把它取最小值，就是 5 ； 无失真压缩的理论依据： 6 ，限失真压缩理论依据： 7 ；香农第一定理又称 8 编码定理，编码后的码符号信源尽可能为 11 ，使每个码符号平均所含的信息量达到 9 ，要做到无失真编码，变换每个信源符号平均所需最少的r元码元数就是信源的 10 （以r进制信息量单位测度）。 二 简答题 （本题40分，每小题5分） 1.简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是多少？ .连续信源的绝对熵 3.用一个实例说明你对信号、消息、信息的理解。 4.写出香农公式，并说明其物理意义。当信道带宽为5000Hz，信噪比为30dB时求信道容量。.解释下图阴影部分含义。 6.比较信息熵和（平均）互信息两个概念的异同之处及相互关系。 7.解释等长信源编码定理和无失真变长信源编码定理，说明对于等长码和变长码，最佳码的每符号平均码长最小为多少？编码效率最高可达多少？ 8.分别说明信源的概率分布和信道转移概率对平均互信息的影响，说明平均互信息与信道容量的关系。 .二元无记忆信源，有求：（1）某一信源序列由100个二元符号组成，其中有m个“1”，求其自信息量？（2）求100个符号构成的信源序列的熵。 .求一一对应确定信道P1的信道容量：1.黑白气象传真图的消息只有黑色和白色两种，求：1） 黑色出现的概率为0.3，白色出现的概率为0.7。给出这个只有两个符号的信源X的数学模型。假设图上黑白消息出现前后没有关联，求熵；2） 假设黑白消息出现前后有关联，其依赖关系为：，，，，求其熵；）2.二元对称信道如图。　1）若，，求和； 2）求该信道的信道容量和最佳输入分布。 3.信源空间为试构造二元霍夫曼码，计算其平均码长和编码效率。4.二元对称信道的信道矩阵为，信道传输速度为1500二元符号/秒，设信源为等概率分布，信源消息序列共有13000个二元符号，问：1）试计算能否在10秒内将信源消息序列无失真传送完？2） 若信源概率分布为，求无失真传送以上信源消息序列至少需要多长时间？中新网美国国防部信息研究所研究员Jacob D. Bekenstein如果你问别人物理世界是由什么构成的，他很可能告诉你是“物质和能量”。但只要我们学过一点工程、生物和物理的话，就知道只给汽车厂的机器人金属和塑料，它们不可能做出任何有用的东西，只有给它们下达如何焊接的指令它们才能组装出汽车。我们身体细胞中的核糖体拥有阿米诺酸组建模块和ATP合成为ADP过程中释放的能量，但如果没有细胞核中DNA所携带的信息，同样无法合成任何蛋白质。 ，其依赖关系为P(白/白) = 0.9，P(黑/白) = 0.1，P(白/黑) = 0.2，P(黑/黑) = 0.8，求信源的熵H2(X); (3) 分别求上述两种信源的剩余度，比较H(X)和H2(X)的大小，并说明其物理含义。 3、有一个二元对称信道，其信道矩阵为。设该信源以2000二元符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号，并设P(0) = P(1) = 1/2，问从消息传输的角度来考虑，10秒钟内能否将这消息序列无失真的传递完？（15分） 4、离散无记忆信源 P(x1)=1/2； P(x2)=1/4； P(x3)=1/8； P(x4)=1/8；（15分） (1) 计算对信源的逐个符号进行二元定长编码 码长和编码效率； (2) 对信源编二进制哈夫曼码，并计算平均码长和编码效率。 (3) 上面两种编码对应下面那种编码，并说明是什么编码。 0111 111 11 10 11 1/8 U4 011 110 00 1 10 1/8 U3 01 10 1 0 01 1/4 U2 0 0 0 0 00 1/2 U1 编码Ⅴ 编码Ⅳ 编码Ⅲ 编码Ⅱ 编码 Ⅰ 概率pi 信源