信息论第二章习题.ppt

题目 2-2 设在一只布袋中装有100只对人手感觉 全相同的木球，每只球上涂有一种颜色。 100只球的颜色有下列3中情况： （1）红色球和白色球各50置； （2）红色球99只，白色球1只； （3）红、黄、蓝、白色各25只。 求从布袋中随意去除一只球时，猜测其颜色所需要的信息量。 分析 取出一个球，其颜色可能是红色、白色、蓝色或黄色。都有可能，但各种颜色的不确定度不同，即出现概率不同。 要求猜测其颜色信息所需要的信息量也就是要求取出一个球所包含的平均信息量（信源熵）。 根据H（X）的定义，就可求出。 解答 根据定义 H（X）= - 得：随意取出一球时，所需要的信息量为 （1） P（红）= P（白）=1/2 H（X）= = 1比特/球 （2）P（白）= 1/100 P（红）= 99/100 所以 H（X）= = 0.08比特/球 （3） P（红）=P（白）=P（蓝）=P（黄）=1/4 所以 H（X）= 4 x （ ） = 2比特/球 一个消息由符号0，1，2，3组成，已知p(0)=3/8, p(1)=1/4, p(2)=1/4, p(3)=1/8,求60个符号构成的消息所含的信息量和平均信息量。 解： 平均信息量 H(X)=3/8log2(8/3)+2/4log24+1/8log28 =1.905比特/符号 信息量 H1(X)=60*1.905=114.3比特 已知信源发出a1和 a2，，且p(a1)=p(a2)=1/2,在信道上传输时，传输特性为p(b1/a1)=p(b2/a2)=1-ε, p(b1/a2)=p(b2/ a1)=ε,求互信息量 I(a1；b1)和I (a1；b2) 解： I(a1;b1)=log =log P(b1)=P(b1,a1)+P(b1,a2)=P(b1/a1)P(a1)+ P(b1/a2)P(a2) =(1-ε)*(1/2)+1/2* ε=1/2 P(a1,b1)=1/2*(1-ε) P(a1/b1)= P(a1,b1)/P(b1)=1- ε I(a1,b1)=log2[2*(1-ε)] I (a1;b2)=log P(b2)=P(b2,a1)+P(b2,a2)=P(b2/a1)P(a1)+ P(b2/a2)P(a2) =ε*1/2 + (1-ε)*(1/2) =1/2 P(a1,b2)= P(b2/a1)*P(a1)= 1/2* ε P(a1/b2)=P(a1,b2)/ P(b2)=ε I (a1,b2)=log2 2 ε 随机变量X表示信号x(t)的幅度，X在－3V和3V之间均匀分布，求信源的熵。在－5V和5V之间，试解释计算结果。 解： （1）已知 所以 （2） 已知 所以 （3） 连续信源（1）和（2）绝对熵是不会变的，这是由无穷大项所造成的，两者在逼近时所取△x不一致，信源熵（2）比（1）大。Hc（X）给出的熵有相对意义，而不是绝对值。 无记忆信源的符号集为{0，1}，P0=1/4,p1=3/4,求符号的平均熵，由100个符号构成序列，求自信息量的表达式。 解： (1) (2) （3） H（X1X2…X100）=H(X1)+H(X2)+…+H(X100)=100H(X) =100×0.81=81比特 已知一个马尔可夫信源，转移概率为p(s1/s1)=2/3, p(s2/s1)=1/3, p(s1/s2)=1, p(s2/s2)=0,试画出状态转移图并求信源熵 解： 由 2/3W1+W2=W1 1/3W1=W2 W1+W2=1 s1 s2 2/3 1/3 1 0 得： W2=1/4； W1=3/4； * *