[理学]信息论与编码-第4章.ppt

4.2 离散信源和连续信源的R(D)计算 对于R(D)函数，只在有限情况下，能够得到它的解析表达式 更多的情况，只能通过计算机计算它的数值解 这种方法通常称为参量表达式法 田宝玉等编著的《信息论基础习题解答》（人民邮电出版社2010年版）一书中的192-193页有一个例子的Matlab程序和迭代流程图，以及解析解与数值解的对照曲线，结果是非常吻合的 (2)当d(x,y)=|x-y|，　 时， (3)当　d(x,y)=?(x,y)，p(x=0)=p，p(x=1)=1-p　时， 4.2 离散信源和连续信源的R(D)计算 4.2 离散信源和连续信源的R(D)计算 0 Dmax D R(D) H (3) (1) (2) 图4-5 信息率失真函数R(D) 这些 R(D) 可画成三条曲线 求信息率失真函数R(D)。 解：（略） 例4.3 (p.81)设输入输出符号表为X＝Y?{0，1}，输入概率分布p(x)=(p，1-p)，0p?1/2，失真矩阵为 4.2 离散信源和连续信源的R(D)计算 4.2 离散信源和连续信源的R(D)计算 0.1 0.2 0.3 0.4 0.5 D 1.0 0.8 0.6 0.4 0.2 0.0 R(D)/bit p=0.5 p=0.3 p=0.2 p=0.1 图4－6 R(D)=H(p)－H(D)，p为参数 第4章 复习 本章主要讨论了在信源允许一定失真情况下所需的最少信息率； 在实际问题中，信号有一定的失真是可以容忍的; 但要规定失真限度； 为此引入一个非负量作为失真函数； 失真函数的全体排列起来构成失真矩阵； 均方失真： 相对失真： 误码失真： 绝对失真： 最常用的失真函数 第4章 复习 失真函数的数学期望称为平均失真 第4章 复习 选择信源编码方法的问题可变成选择假想信道的问题，符号转移概率 p(yj/xi) 就对应假想信道的信道转移概率 假想信道在某种信道转移概率分布下的最小平均互信息就称为信息率失真函数 R(D)，即 R(D)的物理意义：对于给定信源，在平均失真不超过失真限度D的条件下，信息率容许减小到（压缩）的最小值 R(D) 对于离散无记忆信源，R(D)函数可写成 第4章 复习 信息率失真函数的性质： R(D)是非负的实数，即 R(D)?0。其定义域为0～Dmax，其值为0～H(X)。当 DDmax 时， R(D) ? 0 R(D) 是关于D的下凸函数，也是关于D的连续函数 R(D)是关于D的严格单调递减函数 第4章 复习 R(D) H(X) R(D) 0 D Dmax D R(D) 0 Dmax D 信息率失真曲线 (a) 离散系统 (b) 连续系统 第4章 复习 信道容量C 率失真函数R(D) 研究对象 信道 信源 给定条件 信道转移概率p(y/x) 信源概率分布p(xi) 选择参数 信源概率分布p(xi) 信源编码器映射关系p(y/x) 结论 噪声干扰消失的信息量H(X/Y) 信源压缩损失的信息量H(X/Y) 信道容量C 与率失真函数R(D)的比较 对于R(D)函数，只在有限情况下，能够得到它的解析表达式 更多的情况，只能通过计算机计算它的数值解 第4章 信息率失真函数 本章主要讨论在信源允许一定失真情况下所需 的最少信息率； 从分析失真函数、平均失真出发，求出信息率失真函数 R(D) 4.1 平均失真和信息率失真函数 4.2 离散信源和连续信源的 R(D) 计算 4.1 平均失真和信息率失真函数 在实际问题中，信号有一定的失真是可以容忍的; 但是当失真大于某一限度后，信息质量将被严重损伤，甚至丧失其实用价值; 要规定失真限度，必须先有一个定量的失真测度; 为此可引入失真函数 4.1.1 失真函数 假如某一信源 X，输出样值为 xi，xi?{a1,…an}，经过有失真的信源编码器，输出 Y，样值为 yj，yj ?{b1,…bm} 如果xi＝yj，则认为没有失真；如果 xi?yj，那么就产生了失真 失真的大小，用一个非负量来表示，即失真函数 d(xi,yj)，以衡量用 yj 代替 xi 所引起的失真程度 一般失真函