《信息论与编码》习题集.doc

  1. 1、本文档共21页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
《信息论与编码》习题集

PAGE  PAGE 21 第二章习题: 补充题:掷色子,(1)若各面出现概率相同 (2)若各面出现概率与点数成正比 试求该信源的数学模型 解: (1)根据,且,得 ,所以信源概率空间为 (2)根据,且,得。 2-2 由符号集组成的二阶马尔可夫链,其转移概率为P(0/00)=0.8,P(0/11)=0.2,P(1/00)=0.2, P(1/11)=0.8,P(0/01)=0.5,P(0/10)=0.5,P(1/01)=0.5,P(1/10)=0.5。画出状态图,并计算各状态的稳态概率。 解:由二阶马氏链的符号转移概率可得二阶马氏链的状态转移概率为: P(00/00)=0.8 P(10/11)=0.2 P(01/00)=0.2 P(11/11)=0.8 P(10/01)=0.5 P(00/10)=0.5 P(11/01)=0.5 P(01/10)=0.5 二进制二阶马氏链的状态集S={}={00,01,10,11} 状态转移图 各状态稳定概率计算:即 得: 即:P(00)=P(11)= P(01)=P(10)= 2-6掷两粒骰子,当其向上的面的小圆点数之和是3时,该消息所包含的信息量是多少?当小圆点数之和是7时,该消息所包含的信息量又是多少? 解: 2-7 2-7设有一离散无记忆信源,其概率空间为 该信源发出的消息符号序列为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210),求此消息的自信息量是多少及平均每个符号携带的信息量? 解:消息序列中,“0”个数为=14,“1”个数为=13,“2”个数为=12,“3”个数为=6. 消息序列总长为=+++=45(个符号) 消息序列的自信息量: - 平均每个符号携带的信息量为: 2-14 在一个二进制信道中,信息源消息集X={0,1},且P(1)=P(0),信宿的消息集Y={0,1},信道传输概率P(1/0)=1/4,P(0/1)=1/8。求: (1)在接收端收到y=0后,所提供的关于传输消息x的平均条件互信息量I(X;y=0)。 (2) 该情况所能提供的平均互信息量I(X;Y)。 解:X={0,1},Y={0,1} 求 (2) 2-25 某一无记忆信源的符号集为{0,1},已知,。 (1)求符号的平均熵。 (2)由100个符号构成的序列,求某一特定序列(例如有m个0和100-m个1)的自信息量的表达式。 (3)计算(2) 中的序列的熵。 解:(1)对离散无记忆信源符号的平均熵: 比特/符号 (2)长度为L=100的符号序列中某特定序列,其中“0”的个数为m,“1”的个数为100-m.该特定序列的概率为 对离散无记忆信源,其符号独立出现,即 则该特定序列的自信息量为: =41+1.59m (bit) (3)长度为L=100的符号序列离散无记忆信源熵: =H(XX…X)==81(比特/序列) 2-30有一马尔可夫信源,已知转移概率为,,,。试画出状态转移图,并求出信源熵。 解:(1)由题意知,该马尔可夫信源阶数为1,状态集S= , 状态转移图为: (2) 信源熵: 求稳态概率 计算方程: 即: 得: 即:P(S)=0.75 ,P(S)=0.25 求H(X/S) H(X/S) 则信源熵:H =H =0.69 比特/符号 2-33 一阶马尔可夫信源的状态图如图2-14所示,信源X符号集为{0,1,2}。 (1)求平稳后信源的概率分布; (2)求信源熵; (3)求当p=0或p=1时信源的熵,并说明其理由。 解:(1)一阶马尔可夫信源的状态空间S=X={0,1,2},由图2-14状态转移图中分析得,此马尔可夫链是时齐的,状态有限的和不可约闭集,非周期,所以具有各态历经性。平稳后状态的极限分布存在,因为是一阶马尔可夫信源,状态的极限分布即平稳后信源符号的一维概率分布,即 根据状态转移图,得状态一步转移矩阵: 计算方程组 即 整理计算得: 即 状态极限概率 P(0)=P(

您可能关注的文档

文档评论(0)

haihang2017 + 关注
实名认证
内容提供者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档