第6章信息率失真函数案例.ppt

* */164 试验信道为 * */164 4、信息率失真函数及其性质 研究背景 信源给定，且又具体定义了失真函数以后，总希望在满足一定失真的情况下，使信源传输给收信者的信息传输率R尽可能地小。 即在满足保真度准则下，寻找信源必须传输给收信者的信息率R的下限值-------------这个下限值与D有关。 * */164 研究思路 从接收端来看，就是在满足保真度准则下，寻找再现信源消息所必须获得的最低平均信息量。 而接收端获得的平均信息量可用平均互信息I(X;Y)来表示，这就变成了在满足保真度准则的条件下，寻找平均互信息I(X;Y)的最小值。 * */164 寻找平均互信息I(X;Y)的最小值。而BD是所有满足保真度准则的试验信道集合，因而可以在D失真许可的试验信道集合BD中寻找一个信道p(Y / X) ，使I(X;Y) 取极小值。 由于平均互信息I(X;Y)是p(Y / X)的U型（下）凸函数，所以在BD集合中，极小值存在。 * */164 在D允许信道BD 可以寻找到一个信道p(Y / X)，使得给定的信源经过此信道传输时，其信息传输率I(X;Y) 取极小值，定义为信息率失真函数R(D)，也称为率失真函数，即 * */164 率失真函数R(D)的意义 信息率失真函数的意义： 对于给定的信源，在满足保真准则 的前提下，信息率失真函数R(D)是信息允许 压缩的最低值 物理含义：率失真函数给出了熵压缩编码可能达到的最小熵率与失真的关系，其逆函数称为失真率函数，表示一定信息速率下所可能达到的最小的平均失真。 * */164 一、求极值问题 I(X;Y)是信源概率分布p(xi)(i=1,2,…,n) 的上凸函数，信道容量就是在固定信道情况下（ p(Y / X) ），求平均互信息极大值的问题，即 I(X;Y) 又是信道转移概率分布 p(yj /xi)(i=1,2,…,n; j=1,2,…,m) 的下凸函数，信息率失真函数就是在试验信道（满足保真度准则的信道）中寻找平均互信息极小值的问题，即 率失真函数与信道容量比较 * */164 二、特 性 信道容量 C一旦求出后，就只与信道转移概率 p(yj /xi) 有关，反映信道特性，与信源特性无关； 信息率失真函数 R(D)一旦求出后，就只与信源概率分布 p(xi) 有关，反映信源特性，与信道特性无关。 率失真函数与信道容量比较 * */164 三、解决的问题 信道容量是为了解决通信的可靠性问题，是信息传输的理论基础，通过信道编码增加信息的冗余度来实现—文章第四，第五章详细讨论过； 信息率失真函数是为了解决通信的有效性问题，是信源压缩的理论基础，通过信源编码减少信息的冗余度来实现。 率失真函数与信道容量比较 * */164 四、研究信道编码和率失真函数的意义 研究信道容量的意义：在实际应用中，研究信道容量是为了解决在已知信道中传送最大信息率问题。目的是充分利用已给信道，使传输的信息量最大而发生错误的概率任意小，以提高通信的可靠性。这就是信道编码问题。 率失真函数与信道容量比较 * */164 四、研究信道编码和率失真函数的意义（续） 研究信息率失真函数的意义：研究信息率失真函数是为了解决在已知信源和允许失真度D 的条件下，使信源必须传送给信宿的信息率最小。即用尽可能少的码符号尽快地传送尽可能多的信源消息，以提高通信的有效性。这是信源编码问题。 率失真函数与信道容量比较 * */164 * */164 信息率失真函数的性质 R(D)的定义域 R(D)是关于平均失真度D的下凸函数 R(D)在区间(Dmin,Dmax)上是连续和严格单调递减函数 * */164 R(D)的定义域 什么是率失真函数的定义域?? 允许平均失真度：率失真函数中的自变量D，也就是人们规定的平均失真度D 的上限值。?? 率失真函数的定义域问题就是在信源和失真函数已知的情况下，讨论允许平均失真度D的最小和最大值问题。?? D的选取必须根据固定信源X的统计特性P(X)和选定的失真函数d(xi, yj)，在平均失真度D的可能取值范围内。 * */164 R(D)的定义域-- Dmin Dmin 和R(Dmin ) 由于平均失真度D是失真函数d(x,y)的数学期望，且d(x,y) ≥0， 所以平均失真度D是非负的，即D ≥0，其下界Dmin =0 当Dmin ＝0，表示不允许任何失真，但： 允许平均失真度D一定能达到Dmin ＝0这个下界吗？ * */164 R(D)的定义域-- Dmin 允许平均失