[哲学]《信息论、编码与密码学》课后习题答案.doc

《信息论、编码与密码学》课后习题答案 第1章 信源编码 考虑一个信源概率为{0.30，0.25，0.20，0.15，0.10}的DMS。求信源熵H（X）。 解： 信源熵 H(X)=-[0.30*(-1.737)+0.25*(-2)+0.2*(-2.322)+0.15*(-2.737)+0.1*(-3.322)] =[0.521+0.5+0.464+0.411+0.332] =2.228(bit) 故得其信源熵H(X)为2.228bit 证明一个离散信源在它的输出符号等概率的情况下其熵达到最大值。 解： 若二元离散信源的统计特性为 P+Q=1 H(X)=-[P*log(P)+(1-P)*log(1-P)] 对H(X)求导求极值，由dH(X)/d(P)=0可得 可知当概率P=Q=1/2时，有信源熵 对于三元离散信源，当概率时，信源熵， 此结论可以推广到N元的离散信源绘制图形说明如下 可以很明确说明上述 不等式的正确性。 1.4 证明 1.5 有一个信源X，它有无穷多个可能的输出，它们出现的概率为P（Xi）=2i-1,i=1,2,3,….,这个信源的平均自信息H（X）是什么？ 解：因为 P（Xi）=2i-1,i=1,2,3,… 所以 H（X）= - =-log2(2+2.22+3.23+…..+n.2n) =2-（1-n）2n+1 1.6 考虑另一个几何分布的随机变量X，满足P（Xi）=P（1-P）i-1 i=1,2,3,…..,这个信源的 平均自信息H（X）是什么？ 解：因为 P（Xi）= P（1-P）i-1,i=1,2,3, 所以H（X）= - =-logp(1-p)[p(1-p)+2p(1-p)2+3p(1-p)3+…….+np(1-p)n] =(1-n)(1-p)n+1- 1.7 考虑一个只取整数值的随机变量，满足，其中，。求熵。 解：为了方便计算，设，则，； 根据公式计算自信息量为：； 则熵为：=？ 1.8 计算概率分布函数为 的均匀分布随机变量的微分熵。画出相对于参数的平面图，并对结果进行评论。 解：根据公式（1-21）可知，微分熵为： 当时，，则 当或时， ，则 根据得到的结果可以画出相应的平面图，由图可以看到随着的增加，即的减小，微分熵相应的增加。 1.9考虑一个信源的概率为的DMS。 给出此信源的霍夫曼码。 计算出这些码子的平均码长。 这个码的效率是多少？ 解：1）依题意，由霍夫曼编码的规则，得： 1.00 0.65 0.40 0.20 0.35 0.25 0.20 0.15 0.05 表格如下： 符号 概率 自信息 码字 0.35 1.515 1 0.25 2.000 01 0.20 2.322 000 0.15 2.738 0010 0.05 4.322 0011 由平均码长公式 ,代入数据，得： 3）首先，该信源的熵为： 该码的效率为： 图1.11 霍夫曼编码 则霍夫曼码如下表： 符号 概率 码字 x1 0.5 1 x2 0.4 00 x3 0.1 01 该信源的熵为： 平均每个符号的比特数为： 该码的效率为： （2）把符号每两个分一组，重新应用霍夫曼编码算法，如下表所示： 符号对 概率 码字 x1x1 0.25 00 x1x2 0.20 010 x2x1 0.20 011 x2x2 0.16 1010 x1x3 0.05 100 x3x1 0.05 110 x2x3 0.04 1011 x3x2 0.04 1110 x3x3 0.01 1111 该信源的熵为： 每个组的平均比特数为: 故该码的效率为： (3)依题意，把符合每三个分成一组，再重新应用霍夫曼编码算法，得: 编码表格如下： 符号对 概率 自信息 码字 0.1250 2.7090 100 0.1000 3.3223 0000 0.1000 3.3223 0001 0.1000 3.3223 110 0.0800 3.6443 011