信息论基础与编码 教学课件 作者 王军选 田小平 曹红梅 04章.ppt

信息论基础与编码 教学课件 作者 王军选 田小平 曹红梅 04章.ppt

  1. 1、本文档共55页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
第四章 信息率失真函数 4.1 平均失真和信息率失真函数 § 4.1.1 失真函数 § 4.1.2 平均失真 § 4.1.3 信息率失真函数 失真函数 假如信源X输出随机序列为X=x1,x2,…,xn,经过信道传输后,输出Y =y1,y2,…,ym。 如果xi=yj,则认为没有失真; 如果xi ? yj,那么就产生了失真。 失真的大小,用一个量来表示,即失真函数 d(xi,yj),以衡量用yj代替xi所引起的失真程度。 失真函数(续) 失真函数(续) 失真函数(续) 失真函数的定义可推广到序列编码情况,如果假定离散信源输出符号序列 ,其中L长符号序列样值 ,经信源编码后,输出符号序列 ,其中L长符号序列样值 ,则失真函数定义为: ? 平均失真 对于连续随机变量同样可以定义平均失真 信息率失真函数 信息率失真函数(续) 信息率失真函数(续) 例4-2 已知某编码器的输入符号的概率分布为p(x)={0.5,0.5}, 两个信道的转移概率分别为: 计算平均互信息量。 解 由 ,可得输入符号与输出符号的 联合概率: 由于 ,得 而 ,因此得到 信息率失真函数(续) 则平均互信息量为 同样,可得Pij时的平均互信息为 4.2 信息率失真函数的性质 § 4.2.1 R(D)函数的定义域 § 4.2.2 R(D)函数的下凸性 § 4.2.3 R(D)函数的连续性 § 4.2.4 R(D)函数的单调递减性 R(D)函数的定义域 1. R(D)函数的定义域 ⑴ Dmin和R(Dmin) Dmin=0 对于连续信源 R(D)函数的定义域(续) (2) Dmax和R(Dmax) R(D)函数的定义域(续) 求出满足条件 的D中的 最小值 ,即 R(D)函数的定义域(续) 从上式观察可得:在j=1,…,m中, 可找到 值最小的j,当该j对应的pj=1,而其余 pj为零 时,上式右边达到最小,这时上式可简化成 R(D)函数的定义域(续) R(D)函数的下凸性和连续性 R(D)函数的单调递减性 R(D)函数的一般形式 4.3 离散信源的R(D)函数及其计算 由R ( D )的定义可知,求解 R ( D ) 实质上是在保真度准则下求互信息的极小值问题 离散信源的R(D)函数及其计算(续) 先不考虑约束条件③,由条件①和条件②的(m+1)个约束方程,可用(m+1)个乘子和S(待定参数)来构造一个辅助方程 离散信源的R(D)函数及其计算(续) 离散信源的R(D)函数及其计算(续) 离散信源的R(D)函数及其计算(续) 离散信源的R(D)函数及其计算(续) 离散信源的R(D)函数及其计算(续) 离散信源的R(D)函数及其计算(续) 离散信源的R(D)函数及其计算(续) 离散信源的R(D)函数及其计算(续) 离散信源的R(D)函数及其计算(续) 离散信源的R(D)函数及其计算(续) 离散信源的R(D)函数及其计算(续) 通过以上所举的几个例子可以看到,计算实际信源的R(D)函数的显式表达式是相当困难的,一般情况下是通过计算机进行迭代运算而得到结果的。 离散信源的R(D)函数及其计算(续) 离散信源的R(D)函数及其计算(续) 离散信源的R(D)函数及其计算(续) 4.4 连续信源的R(D)函数及其计算 § 4.4.1 幅度连续无记忆信源的R(D)函数 § 4.4.2 差值误差测量与香农界 § 4.4.3 带记忆的信源的R(D)函数 § 4.4.4 R(D)函数的单调递减性 幅度连续无记忆信源的R(D)函数 幅度连续无记忆信源的R(D)函数 幅度连续无记忆信源的R(D)函数 幅度连续无记忆信源的R(D)函数 差值误差测量与香农界 差值误差测量与香农界 差值误差测量与香农界 差值误差测量与香农界 差值误差测量与香农界 差值误差测量与香农界 差值误差测量与香农界 差值误差测量与香农界 差值误差测量与香农界 差值误

您可能关注的文档

文档评论(0)

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档