南京工程学院信息论参考试卷试卷G.docVIP

南京工程学院 试题评分标准及参考答案G / 学年第 学期 课程名称： 信息论与编码B 使用班级： 制 作 人：陈瑞焦良葆 年 月 日 填空题（本题15空,每空1分,共15分 ） 一珍珠养殖场收获240颗外观及重量完全相同的特大珍珠，但不幸被人用外观相同但重量仅有微小差异的假珠换掉1颗。一人随手取出3颗，经测量恰好找出了假珠，这一事件大约给出（）比特的信息量；不巧假珠又滑落进去，那人找了许久却未找到，但另一人说他用天平最多6次能找出，结果确是如此，这一事件给出（0）bit信息量。 设信道转移概率矩阵为，则该信道的信道容量为（log3?H(?,1??)）；信道转移概率矩阵为的信道，其容量为（(1????)log(1????)??log??(1??) log( 0.5?0.5?)）。 惟一可译码指的是（任意有限长的码元序列只能被惟一地分割成一个个的码字），惟一可译码存在的充要条件是（满足不等式）。{110，100，00，10}是否是惟一可译码？（是 ）；{00，01，10，11}是否是惟一可译码？（是 ） 一袋中有5个黑球、10个白球，以摸一个球为一次实验，摸出的球重新放进袋中。第一次实验包含的信息量为（ 0.918bit）；第二次实验包含的信息量为（ 0.918 bit）。两次实验X1和X2的关系是（ 相互独立 ）。 设无记忆信源，接收符号AY ={1/2, 1/2}，失真矩阵，则Dmax=（ ），Dmin=（ ）；达到Dmin时的转移概率矩阵P=（ ），达到Dmax时的转移概率矩阵P=（ ）。 设无记忆信源，接收符号AY={1/2, 1/2}，失真矩阵，则Dmax=（4/3），Dmin=（1）；达到Dmin时的转移概率矩阵P=（），达到Dmax时的转移概率矩阵P=（）。 判断题（本题10小题,每小题1分,共10分） 1．√2．×3．×4．√5．√6．×7．√8．×9．√10．√ 校验矩阵的各行是线性无关的。 冗余度是表征信源信息率多余程度的物理量，它描述的是信源的剩余。 当信道固定时，平均互信息是信源分布的∪型凸函数。 设（7，4）循环码的生成多项式为g(x)=x3+x+1，当接收码字为0010011时，接收码字中有错。 互信息I(X;Y)与信息熵H(Y)的关系为：I(X;Y)≤H(Y)。 信息率失真函数R(D)的定义域为[Dmin，Dmax]，其中Dmin=0，Dmax是满足的所有D中的最大的。 若要求发现2个独立随机错误，则要求最小码距。 设P为某马尔可夫信源的转移概率矩阵，若存在正整数N使得中的元素全都为0，则该马尔可夫信源存在稳态分布。 信道容量随信源概率分布的变化而变化。 一个唯一可译码成为即时码的充要条件是其中任何一个码字都不是其它码字的前缀。 三 名词解释（本题4小题,每小题5分,共20分） 1 相对熵 连续信源的不确定度无穷大，因此通常用相对熵来衡量连续信源的熵，它描述的是两个连续信源之间的相对值或差值。 2 即时码 也称为异前缀码，非延长码，任意一个码字都不是其他码字的前缀部分。 3 平均失真 失真函数d(xi;yj)是随机变量，因此要分析整个信源的失真大小，失真函数的数学期望或统计平均值来描述，即平均失真。 4 随机错误 错误的出现是随机的，一般而言错误出现的位置是随机分布的，即各个码元是否发生错误是互相独立的，通常不是成片地出现错误。这种情况一般是由信道的加性随机噪声引起的。 四 计算题（本题3小题,共25分） 1 设有一离散信道，其信道转移概率矩阵为，并设，，试：1）按最大似然概率译码准则确定译码规则； 2）计算在此规则下译码的平均译码错误概率。 (3+3=6分) 解：1）根据最大似然概率译码规则，得译码规则为： F(y1)=x1 F(y2)=x2 F(y3)=x3 2）Y的概率分布为：{1/4 1/4 1/2} 收到y1后的错误概率Pe1=1/2 收到y2后的错误概率Pe2=1/2 收到y3后的错误概率Pe3=1/2 ∴在此译码规则下的平均错误概率为： PE=p(y1)Pe1+P(y2)Pe2+P(y3)Pe3=1/4× (1/2)+1/4×(1/2)+1/2×(1/2)=1/2 2 2 设有离散无记忆信源X，其概率分布为P（X）={0.4，0.18，0.1，0.1，0