第4章_离散信源编码理论方案.ppt

  1. 1、本文档共75页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
第4章_离散信源编码理论方案.ppt

第*页 * 4.5.1 信息率失真函数与信息价值 说明: 信息价值随着信息率的增加而增加; 获取信息要付出代价,得到信息会获得利益。一般来说,获得的信息越多,付出的代价也越大; 信息价值的概念从理论上定量地证明了信息是财富的假说; 进一步的研究证明:信息还可以代替人力、物质、能源和资本,从而得到更多的经济利益。 这些问题的深入讨论涉及到信息经济学理论,属于广义信息论范畴。 4.5 信 息 率 失 真 函 数 与 信 道 容 量 第*页 * 4.5.2 信道容量与信息率失真函数的比较 从数学上说,信道容量和信息率失真函数的问题,都是求平均互信息极值问题,有相仿之处,故常称为对偶问题。 (1) 求极值问题 (2) 特 性 (3) 解决的问题 4.5 信 息 率 失 真 函 数 与 信 道 容 量 第*页 * 4.5.2 信道容量与信息率失真函数的比较 (1) 求极值问题 平均互信息 I(X;Y) 是信源概率分布 p(xi)(i=1,2,…,n) 或概率密度函数 p(x) 的上凸函数。根据上凸函数定义,如果 I(X;Y) 在定义域内对 p(xi) 或 p(x) 的极值存在,则该极值一定是极大值。 信道容量就是在固定信道情况下,求平均互信息极大值的问题,即: 4.5 信 息 率 失 真 函 数 与 信 道 容 量 第*页 * 4.5.2 信道容量与信息率失真函数的比较 (1) 求极值问题 I(X;Y) 又是信道转移概率分布 p(yj /xi)(i=1,2,…,n;j=1,2,…,m) 或条件概率密度函数 p(y/x) 的下凸函数,因此在满足保真度准则条件下, I(X;Y) 对 p(yj /xi) 或 p(y/x) 的条件极值若存在,则一定是极小值。信息率失真函数就是在试验信道(满足保真度准则的信道)中寻找平均互信息极小值的问题,即: 4.5 信 息 率 失 真 函 数 与 信 道 容 量 第*页 * 4.5.2 信道容量与信息率失真函数的比较 (2) 特 性 信道容量 C 一旦求出后,就只与信道转移概率 p(yj /xi) 或条件概率密度 p(y/x) 有关,反映信道特性,与信源特性无关; 信息率失真函数 R(D)一旦求出后,就只与信源概率分布 p(xi) 或概率密度函数 p(x) 有关,反映信源特性,与信道特性无关。 4.5 信 息 率 失 真 函 数 与 信 道 容 量 第*页 * 4.5.2 信道容量与信息率失真函数的比较 (3) 解决的问题 信道容量是为了解决通信的可靠性问题,是信息传输的理论基础,通过信道编码增加信息的冗余度来实现; 信息率失真函数是为了解决通信的有效性问题,是信源压缩的理论基础,通过信源编码减少信息的冗余度来实现。 4.5 信 息 率 失 真 函 数 与 信 道 容 量 第*页 * 设一离散平稳无记忆信源的输出随机变量序列为X=(X1,X2,…,XL),若该信源的信息率失真函数是 R(D),并选定有限的失真函数。对于任意允许平均失真度 D≥0,和任意小的ε0,当信息率 RR(D) ,只要信源序列长度 L 足够长,一定存在一种编码方式 C,使译码后的平均失真度 ; 反之,若:RR(D),则无论用什么编码方式,必有: 即译码平均失真必大于允许失真。 4.7 香农第三定理 香农第三定理也称为限失真编码定理,与无失真编码的香农第一定理一样,讨论码的存在性问题,具有重要的理论意义。 为限失真编码定理为: 第*页 * 4.7 香农第三定理 限失真编码也称为有损数据压缩,数据压缩的目的是为了传输或者存储信息。信息率失真函数 R(D) 一旦求出后,就只与信源概率分布 p(xi) 或概率密度函数 p(x) 有关,反映信源特性,与信道特性无关。 从数据压缩角度来看,信息传输率就是信源编码后每个信源符号的输出平均码长。 从信息论的角度来看,限失真编码实际上就是按照一定的规则对信源符号进行合并,所以经过信源译码后,信宿接收到的符号熵减小了。 假设信源的熵为H(X),编码进行符号合并后信宿接受的符号集合熵为H(Y)=R′,而H(Y)=R′等于信源编码器输出码的熵,则熵的含义就是表示每个符号的平均码长。 第*页 * 4.7 香农第三定理   (1) 能够达到信息率失真函数的最佳编码如何实现。对于给定的平均失真D,采用何种编码方法能够使得编码输出的码率(信息传输率)达到下限,即R′=R(D);或者在码率给定情况下,采用何种编码方法的平均失真能够达到理论的下限。   (2) 失真测度问题。 信息率失真函数是建立在失真测度d(ai,bj)基础上,而失真测度与再现符

文档评论(0)

czy2014 + 关注
实名认证
内容提供者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档