陈运 信息论与编码 第四章 信息率失真函数.ppt

§4.1 信息率失真函数 §4.1 信息率失真函数 §4.1 信息率失真函数 §4.2离散信源的信息率失真函数 §4.2离散信源的信息率失真函数 §4.3连续信息的率失真函数 §4.3.1 连续信源失真函数的参量表达式 §4.3.2 高斯信源的率失真函数 §4.3.3 信息价值  §4.3 连续信息的率失真函数 §4.3.1 连续率失真函数的参量表达式 §4.3.2 高斯信源的率失真函数 §4.3.3 信息价值  §4.3.2 高斯信源的率失真函数 §4.3连续信息的率失真函数 §4.3.1 连续率失真函数的参量表达式 §4.3.2 高斯信源的率失真函数 §4.3.3 信息价值  §4.3.3 信息价值 §4.2.1 离散信源信息率失真函数的参量表达式 §4.2.2 二元信源的率失真函数 令 令 1 2 3 3 2 1 4 5 负值 在公式两边对S取导数 2 两边乘以对 求和 D §4.2.1离散信源信息率失真函数的参量表达式 §4.2.2 二元信源的率失真函数 1 S(D) D 0.5 0.25 P=0.25 P=0. 5 §4.1 信息率失真函数 §4.2 离散信源的信息率失真函数 §4.3 连续信源的信息率是真函数 §4.4 保真度准则下的信源编码定理 定义 定义PD为满足保真度准则的试验信道集合 下确界 (条件方差) 根据詹森不等式： Y X N 反向加性高斯实验信道 1 2 高斯信源的率失真函数 * * 第1章：概述 第2章：信源熵 第3章：信道容量 第4章：信息率失真函数 第5章：信源编码 第6章：信道编码 第7章：密码体制的安全性测度 §4.1 信息率失真函数 §4.2 离散信源的信息率失真函数 §4.3 连续信息的率失真函数 §4.4 保真度准则下的信源编码定理 §4.1.1 失真函数和平均失真度 §4.1.2 率失真函数定义 §4.1 .3 率失真函数性质 实际通信系统允许一定的失真存在。 1 打电话； 2 放电影，视觉暂留性。 允许压缩信源输出的信息率。 研究内容：信息率允许失真 对任一 指定一个非负数 失真度 （函数） a1 b1 a2 b2 an bn 1 汉明失真 2 平方误差失真函数 由于ai和bj都是随机变量，所以失真函数d(ai，bj)也是随机变量，限失真时的失真值，只能用它的数学期望或统计平均值，因此将失真函数的数学期望称为平均失真度，记为 ? 平均失真度 允许失真 保真度准则 N次扩展信道的平均失真度： 由信源和信道的无记忆性 §4.1.1失真函数和平均失真度 §4.1.2 率失真函数定义 §4.1.3 率失真函数性质 信源编码器 X Y 假想信道 将信源编码器看作信道 信源编码器的目的是使编码后所需的信息传输率R尽量小，然而R越小，引起的平均失真就越大。给出一个失真的限制值D，在满足平均失真D的条件下，选择一种编码方法使信息率R尽可能小。信息率R就是所需输出的有关信源X的信息量。将此问题对应到信道，即为接收端Y需要获得的有关X的信息量，也就是互信息I(X;Y)。这样，选择信源编码方法的问题就变成了选择假想信道的问题，符号转移概率p(yj/xi)就对应信道转移概率。 D失真许可的 试验信道 平均失真由信源分布p(ai)、假想信道的转移概率 p(bj/ai)和失真函数d(ai，bj)决定，若p(ai)和d(ai，bj) 已定，则调整使 1、D允许试验信道 2、信息率失真函数R(D) 由于互信息取决于信源分布和信道转移概率分布，当p(xi)一定时，互信息I是关于p(yj/xi) 的下凸函数，存在极小值。因而在上述允许信道PD中，可以寻找一种信道pij，使给定的信源p(xi)经过此信道传输后，互信息I(X；Y)达到最小。该最小的互信息就称为信息率失真函数R(D)，即 N次无记忆扩展信源和信道： §4.1.1失真函数和平均失真度 §4.1.2 率失真函数定义 §4.1.3 率失真函数性质 定义域： 1 D=0 R(D)=H(X) 连续： 令 线性分配 a1 a2 假定所有Dj中，Ds最小，令 下凸性 2 定义新试验信道： 满足保真度准则 由对的下凸性： 连续和单调递减性 3 D H(X) R(D) §4.1 信息率失真函数 §4.2 离散信源的信息率失真函数 §4.3 连续信息的率失真函数 §4.4 保真度准则下的信源编码定理