彭代渊王玲-信息论与编码理论-第三章习题解答.pdf

下载文档

165
0
约2.49万字
约 11页
2017-06-30 发布于天津
举报
版权申诉
保障服务

彭代渊王玲-信息论与编码理论-第三章习题解答.pdf

1、本文档共11页，可阅读全部内容。
2、有哪些信誉好的足球投注网站（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击这里二次下载。
4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。

信息论与编码理论第3 章信道容量 2 / 3 1/ 3 3-1 设二进制对称信道的转移概率矩阵为  1/ 3 2 / 3 解: (1) 若P(a ) 3/ 4,P(a ) 1/ 4 ，求和 1 2 H ( X ),H (Y ),H (X |Y ),H (Y |X ) I (X ;Y ) 。 2 3 3 1 1 H(X)=  p(a )log p(a )  log( )  log( ) 0.8113(bit / 符号)  i i i=1 4 4 4 4 3 2 1 1 7 p(b )=p(a )p(b |a )+p(a )p(b |a )=    1 1 1 1 2 1 2 4 3 4 3 12 3 1 1 2 5 p(b )=p(a )p(b |a )+p(a )p(b |a )=    2 1 2 1 2 2 2 4 3 4 3 12 2 7 7 5 5 H(Y)= p(b )log(b )=  log( )  log( ) 0.9799(bit / 符号) j j 12 12 12 12 j=1 2 2 H(Y|X)=  p(a ,b )logp(b |a )  p(b |a )logp(b |a )  i j j i  j i j i i, j j 2 2 1 1  log( )  log( ) 0.9183(bit / 符号) 3 3 3 3 I(X;Y)=H(Y) H(Y|X)=0.9799 0.9183 0.0616(bit / 符号) H(X|Y)=H(X) I(X;Y)=0.8113 0.0616 0.7497(bit / 符号) (2)求该信道的信道容量及其达到信道容量时的输入概率分布。二进制对称信息的信道容量 H(P)=-plog(p)-(1-p)log(1-p) 1 1 2 2 C=1-H(P)=1+ log( )+ log( )=0.0817(bit/符) 3 3 3 3 BSC 信道达到信道容量时，输入为等概率分布，即：{0.5，0.5} 注意单位 3-2 求下列三个信道的信道容量