g第5章：信源编码1.ppt

(2) 二元及等概率离散信源的信息率失真函数 (c) 二元等概率离散信源的率失真函数 这个结论很容易推广到 n 元等概率信源的情况。 5.2.4 连续信源的信息率失真函数 （1） 连续信源的信息率失真函数的参量表达式 （2） 高斯信源的信息率失真函数 (1) 连续信源的信息率失真函数的参量表达式 条件 信源：X∈R=(－∞,∞) 信源 X 的概率密度函数为：p(x) 信道的传递概率密度函数为：p(y /x) 信宿：Y∈R=(－∞,∞) 信宿 Y 的概率密度函数为：p(y) X 和 Y 之间的失真度：d(x,y)≥0 (1) 连续信源的信息率失真函数的参量表达式 平均失真度为： 平均互信息为： (1) 连续信源的信息率失真函数的参量表达式 PD为满足保真度准则 的所有试验信道集合。 信息率失真函数为： 相当于离散信源中求极小值，严格地说，连续集合未必存在极小值，但是一定存在下确界。 (1) 连续信源的信息率失真函数的参量表达式 R(D) 函数的参量表达式： 一般情况，在平均失真度 积分存在情况下， R(D) 的解存在，直接求解困难，用迭代算法计算机求解，只在特殊情况下求解比较简单。 (2) 高斯信源的信息率失真函数 (a) 高斯信源特性及失真度 设连续信源的概率密度为正态分布函数： 数学期望为： 方差为： 失真度为 d(x,y)=(x－y)2，即把均方误差作为失真，表明通信系统中输入输出之间误差越大，失真越严重，严重程度随误差增大呈平方增长。 (2) 高斯信源的信息率失真函数 (b) 高斯信源 R(D) 的特性 当信源均值不为 0 时，仍有这个结果，因为高斯信源的熵只与随机变量的方差有关，与均值无关。 (2) 高斯信源的信息率失真函数 (b) 高斯信源 R(D) 的特性 当 D=σ2 时，R(D)=0 ：这就是说，如果允许失真（均方误差）等于信源的方差，不需要传送信源的任何实际输出。 (2) 高斯信源的信息率失真函数 (b) 高斯信源 R(D) 的特性 当 D=0 时，R(D)→∞：这点说明在连续信源情况下，要毫无失真地传送信源的输出是不可能的。即要毫无失真地传送信源的输出必须要求信道具有无限大的容量。 (2) 高斯信源的信息率失真函数 (b) 高斯信源 R(D) 的特性 当 0Dσ2 时：即允许一定的失真，传送信源的信息率可以降低，意味着信源的信息率可以压缩，连续信源的率失真理论正是连续信源量化、压缩的理论基础。 (2) 高斯信源的信息率失真函数 (b) 高斯信源 R(D) 的特性 当 D=0.25σ2 时， R(D)=1 比特/符号：这就是说在允许均方误差小于或等于 0.25σ2 时，连续信号的每个样本值最少需用一个二进制符号来传输。由香农第三定理证明了这种压缩编码是存在的，然而实际上要找到这种可实现的最佳编码方法很困难的。 5.2.5 限失真信源编码定理---香农第三定理 (c) 率失真函数的单调递减和连续性 R(D) 的连续性：可由平均互信息 I(X;Y) 是信道传递概率p(yj/xi)的连续性来证明。 R(D) 单调递减性：可以证明，在 DminDDmax 范围内 R(D) 单调递减。 率失真函数曲线图说明 R(0) = H(X) ， R(Dmax) =0， 决定了曲线边缘上的两个点； 在 0 和 Dmax 之间， R(D) 是 单调递减的下凸函数； 在连续信源时，当 D→0 时， R(D)→∞ ，曲线将不与 R(D) 轴相交。 5.2.3 离散信源的信息率失真函数 (1)离散信源信息率失真函数的参量表达式 (a) 求极小值方法 (b) 离散信源的信息率失真函数 (c) 参量 S 的说明 (2)二元及等概率离散信源的信息率失真函数 (a) 二元离散信源的率失真函数 (b) 信息率失真函数曲线图说明 (c) 二元等概率离散信源的率失真函数 (1)离散信源率失真函数的参量表达式 (a) 求极小值方法 已知信源概率分布函数 p(xi) 和失真度 d(xi , yj)，在满足保真度准则 的条件下，在试验信道集合 PD 当中选择 p(yj /xi)，使平均互信息： 最小 (1) 离散信源率失真函数的参量表达式 (b) 离散信源的信息率失真函数 已知平均互信息在(2)的条件限制下求 I(X;Y)的极值，引入拉各朗日乘子 S 和μi (i=1,2,…,n)，构造一个新函数： (1) 离散信源率失真函数的参量表达式 (b) 离散信源的信息率失真函数 (1) 离散信源率失真函数的