信息论与编码原理-第4、5章课后习题-20140604-23点-自己整理.ppt

《信息论与编码原理》 四、五章习题 信息符号 对应码字 000 001 011 100 101 1110 1111 4.1 对信源概率空间为 进行二元编码，编码方案如表4.19所示 （1）计算平均码长 。 （2）编码后信息传输率 。 （3）编码后信源信息率 。 （4）编码效率 。 表4.19 编码方案 （1）平均码长 码元/信源符号 （2）编码后信息传输率 bit/符号 bit/码元 （3）编码后信源信息率 bit/信源符号 （4）编码效率 进行二元编码，5种不同的编码方案如表4.20所示。 表4.20 5种不同的编码方案 信源符号 000 0 0 0 1 001 01 10 10 000 010 011 110 110 001 011 0111 1110 1001 010 100 01111 11110 1100 110 101 011111 111110 1011 001 （1）这些码中哪些是唯一可译码？ （2）这些码中哪些是即时码(异前缀码)？ （3）计算即时码的平均码长和编码效率。 4.3 某信源概率空间为 （1）这些码中 是唯一可译码。 （2）这些码中 是即时码。 码元/信源符号 （3） bit/符号 码元/信源符号 进行 次扩展，采用二元霍夫曼编码。当 时的平均码长和编码效率为多少？ 4.7 设离散无记忆信源的概率空间为 ，对信源 （1） 时，将 编成0， 编成1，则 又因为信源熵 bit/符号 所以编码效率 （2）如果对 长度的信源序列进行霍夫曼编码，编码结果如 表4.8所示 信源序列 霍夫曼码 0.49 1 0.21 01 0.21 000 0.09 001 表4.8 时的编码结果 此时，信源序列的平均码长 二元码符号/信源符号序列 则单个符号的平均码长 二元码符号/信源符号 所以对长度为2的信源序列进行变长编码，编码后的编码效率 用同样的方法进一步将信源序列的长度增加，对 的 序列进行最佳编码，可得平均码长和编码效率为 二元码符号/信源符号 （4） 时，由香农第一定理可知，必然存在唯一可译码，使 而霍夫曼编码为最佳码，即平均码长最短的码，故 4.9 已知离散无记忆信源的概率空间为 用香农编码和霍夫曼编码法编成二进制变长码，计算平均码长和编码效率。 解：香农编码 信息符号 符号概率 累积分布 码字长度 码字 0.25 0 2 2 00 0.2 0.25 2.32 3 010 0.2 0.45 2.32 3 011 0.2 0.65 2.32 3 101 0.15 0.85 2.74 3 110 码源/信源符号 bit/符号 霍夫曼编码 信源符号 码字 码长 01 2 10 2 11 2 000 3 001 3 码元/符号 （1）若信道输入符号 ，求 、 、 和 。 （2）求该信道的信道容量及达到信道容量的最佳输入概率分布。 （3）如果信道输入符号 时，计算信道剩余度。 5.1 设二进制对称信道的传递矩阵为 （1） 的联合分布概率为： 0 1 0 1 （2）由对称信道的信道容量公式得： 且当信道输入是等概率分布时才能达到这个最大值,即: （3）信道剩余度为： 5.3 设某对称离散信道的信道矩阵为 （1）求其信道容量。 （2）写出该信道的二次扩展信道的信道矩阵，并计算信道容量。 （1） （2）二次扩展信道的信道矩阵为： 则信道容量为： 5.4 设某信道的转移矩阵为 求其信道容量。 将 划分为两个对称的矩阵： 图5.14 题5.10中的串联信道 5.10 有二个信道的信道矩阵分别为 和 ，它们 的串联信道如图5.14所示，求证 证明：