信息理论基础.doc

7.2 信息失真函数 7.2.1允许信道（试验信道） 对于信息容量为C的信道传输，信息传输率为时，如果,就应该对信源压缩，使其压缩后信息传输率小于信道容量，但同时要保证压缩所引入的失真不超过预先规定的限度。 如果预先规定的平均失真度为，则称信源压缩后的平均失真度不大于的准则为保真度准则，即保真度准则满足 信息压缩问题就是对于给定的信源，在满足保真度准则的前提下，是信息率尽可能小。将满足保真度准则的所有信道称为失真度允许信道（也称允许的试验信道），记为 (7-5) 式中，为（7-3）。 对于离散无记忆信道，相应的有 7．2．2 信息失真率函数的定义 在允许信道中可以找到一个信道,使给定的信源经过此信道传输时，其信道传输率达到最小，定义为失真率失真函数，也称为率失真函数，即 (7-6) 对于离散无记忆信源，率失真函数可写成 式中，是信源符号概率分布，；是转移概率分布；是接收端收到符号概率分布，。 对于给定的信源，在满足保真度准则的前提下，信息率失真函数是信息率允许压缩到的最小值。 7.2.3 信息失真率函数的性质 1. 的定义域 由于平均失真度是失真函数的数学期望，且，所以平均失真度是非负的，即，其下界，对应于无失真情况。对于无失真信息传输，信息传输率应小于或等于信源的熵，即 由于，而是在约束条件的的最小值，所以，是非负的函数，其最小值应为零，取满足 的所有中最小的，定义为定义域的上限，即是满足 的所有平均失真度中的最小值。 根据前面的分析，可以得到的定义域为 定义域上的上限可以这样定义：令是使的全体转移概率集合，所以 由于的充要条件是与统计独立，即对于所有的和满足 所以有 由于信源概率分布和失真函数已经给定，因此求相当于寻找分布使上式右端最小。如果选取最小时，而对其他的选取，则有 需要说明一下，只有满足失真函数矩阵的每一行至少存在一个为零的元素时才能达到。当不满足时，，此时的求法如下 对于给定的，选取最小时，，其他，则有 所以 假如假定信源分布为，，失真矩阵为 则可以求得 2. 是关于的下凸函数 假定和是两个失真度，和是在满足保真度准则和的前提下，使达到极小的信道，即 所以有 令，且 并记是所对应的失真度。则有 所以,即是满足保真度准则的信道。由信息率失真函数定义得 因此可以证明是的下凸函数。 3. 在区间上是严格的递减函数 显然是连续函数，因为是的连续函数，由和的定义可知是连续函数。 显然是非增函数，因为若,则满足保真度和的试验信道集合和有,由的定义有 因为，而在一个较大范围内求极小值一定不大于在其中一个小范围内求极小值，即 所以有 要证明是单调非递减函数，只需证明上式中等号不成立，采用反证法。 在中任取亮点和,满足 假定中等号成立，则在中为常数。以下证明在中不是常数。 根据的定义及定义域的讨论可知 式中，是失真率函数的信道。 在区间选取，以满足 令 则有 令