信息论期末考试题 信息论期末考试试题1.doc

信息论期末考试题 信息论期末考试试题1 安徽大学2011—2012学年第1学期 《信息论》考试试卷（AB合卷） 院/系 年级 专业 姓名 学号 一、填空题 1、接收端收到y后，获得关于发送的符号是x的信息量是 2、香农信息的定义。 3、在已知事件z?Z的条件下，接收到y后获得关于事件x的条件互信息I(x;y|z)的表达式为 。 4、通信系统模型主要分成五个部分分别为：。 5、研究信息传输系统的目的就是要找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、 和 ，使信息传输系统达到最优化。 6、某信源S共有32个信源符号，其实际熵H?=1.4比特/符号，则该信源剩余度为 。 7、信道固定的情况下，平均互信息I(X;Y)是输入信源概率分布P (x)的 信源固定的情况下，平均互信息I(X;Y)是信道传递概率P(y|x)的 型凸函数。 8、当信源与信道连接时，若信息传输率达到了信道容量，则称此信源与信道达到匹配。信道剩余度定义为 。 9、已知信源X的熵H(X)=0.92比特/符号,则该信源的五次无记忆扩展信源X5的信息熵H(X5) 10、将H?，H6，H0，H4，H1从大到小排列为。 11、根据香农第一定理，对于离散无记忆信源S，用含r个字母的码符号集对N长信源符号序列进行变长编码，总能找到一种无失真的唯一可译码，使每个信源符号所需平均码长满足： 。 12、多项式剩余类环Fq[x](f(x))是域的充要条件为。 13、多项式剩余类环Fq[x](xn?1)的任一理想的生成元g(x)与xn?1关系为 。 14、有限域F212的全部子域为。 15、国际标准书号（ISBN）由十位数字a1a2a3a4a5a6a7a8a9a10组成（诸ai?F11，满足： ?ia i?110i，其中前九位均为0-9，末位0-10，当末位为10时用X表示。?0(mod11)） 《Handbook of Applied Cryptography》的书号为ISBN：7-121-01339- ，《Coding and Information Theory》的书号为ISBN：。 二、判断题 1、互信息I(x;y)与平均互信息I(X;Y)都具有非负性质。 （ ） （ ） 2、离散信源的信息熵是信源无失真数据压缩的极限值。 3、对于无噪无损信道，其输入和输出有确定的一一对应关系。 （ ） 4、对于有噪无损信道，其输入和输出有确定的一一对应关系。 （ ） 5、设有噪信道的信道容量为C，若信息传输率R?C，只要码长n足够长，必存在一种信道编码和相应的译码规则，使译码平均错误概率PE为任意小。反之，若R?C则不存在以R传输信息而PE为任意小的码。 （ ） 6、在任何信息传输系统中，最后获得的信息至多是信源所提供的信息。如果一旦在某一 第2页 过程中丢失一些信息，以后的系统不管如何处理，如不触及到丢失信息过程的输入端，就不能再恢复已丢失的信息。 （ ） 7、对于离散信道[X,p(y|x),Y]，有H(X|Y)?H(PE)?PElog(r?1)，并且不管采用什么译码规则，上述费诺不等式成立。 （ ） 8、码C={0,10,1100,1110,1011,1101}是唯一可译码。 9、一定存在码长分别为1，2，3，3，3，4，5，5的二元即时码。 （ ） 三、计算题 1、设 （ ） a2?b2b3b4??a?b1，Y~X~?1??， ??1/41/41/41/4??1/21/2? c2c3c4c5c6c7c8??c1Z~??。 1/81/81/81/81/81/81/81/8?? 计算H(X),H(Y),H(Z)。 当X,Y,Z为统计独立时，计算H(XYZ)。 第3页 2、有一离散无记忆信源 ?x?X??1 ????2P(x)????3 x216x3??1? ， ?6??p(x)?1 。 ii?13 求该信源的二次扩展信源，并计算二次扩展信源的信源熵。 3、求下述两信道的信道容量及其达到信道容量时的输入概率分布。 第4页 （1）