总结与复习2016_06总与复习2016_06总结与复习2016_06总结与复习2016_06.ppt

3.6 香农三个定理 三个定理各有自己管辖的范围，各指出信息率的一个理论极限： 第一定理负责无失真信源编码；用相对信息率更高的代码序列代替原先有冗余的信源序列。 第二定理负责信道编码； 信道编码通过添加冗余来检错纠错，结果差错减少而传信率降低。定理指出零差错传输的极限传信率R≤C，这里C是信道容量。 第三定理负责限失真信源编码； 第三部分、信道编码 香农三定理 当N→∞时，就有： →(H∞/log r)； 这就是Shannon给出的极限码长。 典型题目讲解 第四部分、典型题目 一．填空： 码长为10最多可纠2位错的线性分组码可写为( ) 码; 2.监督位为r=6的汉明码，信息位为________位，编码效率等于________，能够纠正 位错。 3.无失真信源编码定理指出平均码长的理论极限值 ，此时编码效率为 。 4. 信源编码的主要目的是 ；信道编码的主要目的是 ；必威体育官网网址编码的主要目的是 。 5. 某二元无记忆信源发出100个二元符号，其中有m个“1”， 若P(0)=1/4，则总自信息为____________。 10, 4 57 57/63=0.905 1 检查纠正错误 H∞/logr 增强抗攻击性 1 压缩代码长度 200-1.585m 6．信道误码率为p=10-3，采用三连重复码编码传输时的差错 率约为 。 7. 香农信道编码定理指出，无差错传输的传信率不能大于 。 8. 某理想通信系统，信噪比为3dB，为使功率节省一半又 不损失信息量，带宽应增加到原来的 _________倍。 9.错传率为p的BSC的信道容量为_________________ 10.若 __________受限,输出波幅度在[a,b]之内，则均匀分布的连续信源具有最大熵，熵值为__________；若_________受限，正态分布的连续信源具有最大熵，熵值为 ； 11. 已知p(0)=0.25，p(1)=0.75，则序列S=11101的序列概率p(S) 为 ，积累概率F(S)为 ，算术编码为 。 第五部分、典型题目 3×10-6 信道容量 1+plog p+(1-p)log(1-p) log (b-a) 峰值功率 平均功率 log23=1.585 0.0791 0.6045 1010 第五部分、典型题目 二．判断(正确打√，错误打×) 1．信源符号的相关程度越大，信源的信息熵越大。 2、异前缀码一定是即时码； 3、信道编码定理指出：信道无失真传递信息的条件是信息率小于信道容量 ； 4、Huffman编码是单符号信源编码的最佳编码； 5、最大似然译码准则是使平均译码错误率最小的准则。 6、满足克拉夫特不等式的码必定是惟一可译码。 × √ √ √ × × 第五部分、典型题目 7、 (15，11) 码是汉明码。 8、 汉明码、增余汉明码、截短循环码、游程码都能用于纠正有噪信道中的误码。 9、信源编码中往往无法指出哪几个码元或符号是冗余，冗 余表现为信息熵没有达到最大值。 10、恒比码是线性分组码。 11、离散等概信源具有最大信息熵。 12、CRC是截短循环码的应用，即在原循环码的基础上通过减少监督位来对不同长度的信息位进行信道编码，以便于纠错。 √ √ × × √ × 第五部分、典型题目 三．计算题： 1．一阶马尔可夫信源的状态图如右，信源X的符号集为{0,1,2}，图中 。分别求： (1)平稳后的信源概率分布； (2)信源熵H∞； (3)求p=1时实际信源的熵，并说明所得结果的理由。 解：(1) 一阶马尔可夫信源，状态为单个符号，信源符号集为 X={0,1,2}，E1=0,E2=1,E3=2,稳态概率满足： Q(0)= (1-p)Q(0)＋ p Q(1) Q(1)=p Q(2)＋(1-p)Q(1) 且，Q(0)+Q(1)＋Q(2)＝1 解方程：Q(0)＝1/3；Q(1