学期信息论作业题参考答案.docVIP

第1讲 信息论创始人是谁？ 香农。 信息和消息、信号有什么联系与区别？ 从信息理论角度上看，信号是消息的载体，信息含藏在消息之中，有信号有消息不一定有信息。 通信系统的主要性能指标是什么？ 有效性、可靠性和安全性。 举例说明信息论有哪些应用？ 为信息传送和处理系统提供数学模型和评估方法，在通信和信息处理领域是一门基础理论，在其它领域如语言学、生物学、医学、神经网络、经济学方面的应用也很成功。具体应用实例有： 语音、图像和数据信息的压缩，通信信道有效性和可靠性的提高，或信道传输功率指标要求的降低，通信或计算机系统可靠性和安全性的提高，信息处理领域的信号重建和模式识别等。 2.4 （求车牌自信息量） 某车牌号的概率是(1/26)3×(1/10)3，24bit/牌，后一种概率为(1/36)6，31bit/牌， 第2讲 设二元对称信道的传递矩阵(条件概率矩阵)为 若P(0) = 3/4, P(1) = 1/4，求H(X), H(Y), H(X/Y), H(Y/X)和I(X;Y)； 先求P(Y)=∑XP(XY)和P(XY)=P(X)P(Y|X)，再得各种熵和互信息。 H(X)=H(3/4,1/4), H(Y)=H(7/12,5/12); H(XY)=H(1/2,1/4,1/12,1/6); H(X/Y)=H(XY)-H(Y) H(Y/X)=H(XY)-H(X)；或H(Y/X)=∑P(X=a)H(Y/a)=H(3/4,1/4) I(X;Y)=H(X)-H(X/Y)=H(X)+H(Y)-H(XY)； 2.2（求条件信息量） 1.6米以上女孩是条件，某个1.6米以上的女大学生是概率事件，得条件概率为：P=0.25×0.75/0.5=0.375=3/8，信息量为I= -log0.375=1.42比特。 2.5 2.10(1)(2)（由联合概率分布求熵、联合熵和条件熵） 思路：先求出X、Y、Z、XZ、YZ、XYZ的概率或联合分布，再求其熵。 如：P(Z=XY=0)=1-P(XY=1)=7/8，P(ZX=)=P(YX=1)=1/8,.. (2)思路：通过X、Y、Z及其联合概率分布求X/Y等条件概率分布P(X/Y)=P(XY)/P(Y)，再求其熵。或根据H(X/Y)=H(XY)-H(Y)从联合熵计算条件熵。 Z\Y 0 1 0 1/2 3/8 1 0 1/8 第3讲 2.10 （3）（由联合概率分布求平均互信息和条件互信息） 通过H(X;Y)=H(X)-H(X|Y)，H(X;Y|Z)=H(X|Z)-H(X|YZ)和H(X|Y)=H(XY)-H(Y) 关系式求各种互信息量 2.12，X表示天气情况，Y表示天气预报，0表雨，1表无雨。求1）准确率（提示P(00)+P(11)=12/16），2)从预报得到的信息量I(X;Y)（X(0)=3/16，X(1)=13/16，Y(0)=11/16，Y(1)=5/16），3)总是报无雨时的准确率和预报信息量（提示，Y(0)=0，Y(1)=1；准确度=13/16，I(X;Y)=0）。 2.14（由X概率分布和条件概率分布求互信息和条件互信息） 先求联合概率分布p(xy1y2)= p(x)p(y1y2|x)， 如p(y1y2|x)= p(00|0)=1，p(10|1)=1，p(11|2)=1/2，p(01|2)=1/2，余为0y1y2)联合概率分布如下 xy1y2 00 01 10 11 0 1/4 0 0 0 1 0 0 1/4 0 2 0 1/4 0 1/4 I(X;Y1)=0.5；I(X;Y2)=1; I(X;Y1Y2)=H(X)+H(Y1Y2)-H(XY1Y2)=1.5+2-2=1.5 I(X;Y1|Y2)=I(X;Y1Y2)-I(X;Y2)=.0.5，I(X;Y2|Y1)=I(X;Y1Y2)-I(X;Y1)=.1 第4讲 1，某l离散无记忆信源只输出n个符号，则当信源呈（ 等概 ）分布情况下，熵为最大值（log n）。 2，某连续信源幅度受限，则当信源呈（ 均匀 ）分布情况下，熵为最大值（log（b-a））。 3，如果连续随机变量X的均值为零，平均功率受限于P，则当X服从( 高斯 )( log )。 4，设连续随机变量X的概率密度函数服从均匀分布，求微分熵，并说明大于0的条件。 答案： 第5讲 随机信源如何分类？ 从消息变量取值的连续性分：离散信源和连续信源 从连续信源输出时间上的连续性分：连续信源和波形信源 从离散信源的消息序列的长度来分：单符号信源和序列（扩展）信源 从离散信源序列之间的有无相关性分：无记忆信源(DMS)和有记忆信源 从离散有记忆信源序列的相关程度分：平稳信源、M阶Markov信源、…… 什么是平稳信源、什么是Markov链、齐次Ma