信息论与编码理论1(A卷答案).doc

2012-2013 (2) 信息论与编码理论1 A卷答案 单项选择题（每分，总计分） 交换位置时（ C ）没有对称性。 A B C D 3．下列（ A ）陈述是错误的。 A 算术编码不需要知道信源的分布 B LZ编码不需要知道信源的分布 C 游程编码不需要知道信源的分布 D KY编码不需要知道信源的分布 4．下列数组中（ A ）不满足两个字母上的Kraft不等式。 A (1，2，1) B (2,2) C (1,2,3) D （3，3，3） 5．下列译码法则中（ A ）一定是错误概率最小的。 A 最大后验概率译码准则 B 最大似然译码准则 C 最小距离译码准则 D 最大先验概率译码准则 二、填空题（每分，总计分），则其信道容量为比特/符号。 2．若一个信道的输入熵为比特/符号，输出熵为比特/符号，比特/符号，则__3.4比特/符号__，疑义度为1.2比特/符号_。 3．平均互信息对信源概率分布是上凸函数，对信道的状态转移概率分布是下凸函数。 4．对信源任一个元唯一可译码的平均码长必大于等于。 三、（分）的联合概率分布如下： 0 1 0 1 0 ，为模2加。分别求。 解: 的分布率为 0 1 则比特/符号……………………………………………………………………..3分 的分布率为 0 1 则=0.811比特/符号. …………………………………………………..……..6分 0 1 0 1 0 =,= =0,= ===0.688比特/符号. ……………..10分 0 1 =,=1 =,=0 则===0.2075比特/符号. …………………..15分 2）（22分）若离散无记忆信源的概率分布为 分别构造二元，三元Huffman编码（要求码长方差最小，但不需求出），Shannon编码，Fano编码，Shannon-Fano-Elias编码。 并求①中二元Huffman编码的编码效率。（只列出式子即可） 解:对信源按概率从大到小排序, ,建立码树则有二元Huffman编码: ……………….4分 要进行三元Huffman编码,则需要添加一个空信源,成为,建立码树则有三元Huffman编码: ,………….8分 Shannon编码如下: 信源 码长 累加概率 码字 2 0 00 2 0.4 01 4 0.7 1011 4 0.8 1100 5 0.9 11100 5 0.95 11110 ……………………………………………………………………………….12分 Fano编码如下: 信源 概率 第1次分组 第2次分组 第3次分组 第4次分组 第5次分组 码字 0.4 0 0 0.3 1 0 10 0.1 1 0 110 0.1 1 0 1110 0.05 1 0 11110 0.05 1 11111 ……………………………………………………………………………….16分 Shannon-Fano-Elias编码 信源 概率 二元 码字 0.1 0.1 0.05 5 0.00001 00001 0.05 0.15 0.125 6 0.001000 001000 0.05 0.2 0.175 6 0.001011 001011 0.4 0.6 0.4 3 0.011 011 0.1 0.7 0.65 5 0.101001 10100 0.3 1.0 0.85 3 0.110 110 …………………………………………………………………………………………………….….20分 二元Huffman编码的平均码长为==2.2, …….21分 编码效率为……………………………………...22分 3）（14分）若二元信源，，，对1101011进行算术编码。 解：,码长 利用,,