信息传输基础017.ppt

* 由图像的统计特性可知，相邻像素之间有着较强的相关性；或者粗浅地说，其样值比较相似，比较接近，因此，其像素的值可根据以前已知的几个像素来估计、来猜测，即预测。 根据信息论知识，我们知道：…… 上面的公式告诉我们：若知道第N个符号前面的一些符号Xl（l〈n），猜测后面接着的一个符号Xn，，则Xl知道得越多，越容易猜中。容易猜中就意味着信源的不确定度减小，即其信息熵就小。 * 其猜中的程度取决于信源的概率分布和相关性。一般来说是不可能准确地猜中，只能争取尽可能地近似估计出“实际值”，这就是预测编码的理论基础。 第七章 限失真信源编码 编码方法 7.2信息率失真函数 信息率失真理论研究在给定的允许失真的条件下，设计一种信源编码使信息传输率为最低，这个最低的信息传输率称为信息率失真函数 一般要求信源编码后的平均失真度 小于允许的的失真度 如果信源输出的新息率为R，在信道容量为C的信道上传输，如果RC，就会引起失真，我们需要对信源进行压缩，使压缩后信源输出的信息率R小于信道容量C 保真度准则 在满足保真度准则的D失真许可的试验信道集合中寻找一个信道 是I最小（不确定度最小） 7.2.3 信息率失真函数的性质 在实际的设计中，就是通过选择试验信道，找一个转移信道最小的 设信源 信宿 ，失真矩阵为 ，求 满足这个允许失真度的试验信道是 §7.4 率失真理论 率失真理论研究的问题： 限失真编码（失真不超过某给定条件下的编码） 最佳编码：使限失真条件下比特数最少的编码 定理7.1 设 是离散无记忆信源的信息率失真函数并且失真为有限值。对于 任意的允许失真度 ，当码长N足够长时，一定存在一种编码，其编码后的 实际传输信息率 ，而平均失真度 ；不存在信息传输率 而平均失真度 的任何信源编码 离散信源的率失真曲线 §7.5 常用的限失真信源编码方法 限失真信源编码方法又称为压缩编码方法，它是不可逆的，没有对应的译码过程。常用的熵压缩编码方法有量化编码、子带编码、预测编码、变换编码 已有样本值 现时的系统输出 采用线性或非线性预测函数，最小均方误差为准则 预测编码的基本概念 对于具有M 种取值的符号序列{xk},其第L个符号的熵满足: log 2 M ≥H(xL)≥ H(xL|xL-1) ≥ H(xL|xL-1, xL-2) ≥···≥ H(xL|xL-1, xL-2, ···, x1) H∞ 知道前面的符号 xL(kL) , 再猜后续符号 xL , 则知道得越多,熵越小。 意味着该信源的不确定度减小,数码率自然降低。 基础理论： 数据源不可能用一个数学模型完全表示，并使得源的输出始终和该模型的输出完全一致，精确预测(或产生)这些数据。 实际上 实际情况中只能争取设计最好的预测器，以某种最小化的误差对下一个取样值进行预测。 发展历史 1952年，Bell实验室的B.M.Oliver 等人开始线性预测编码理论研究。 同年，该实验室的C.C.Culter取得了DPCM (Differential Pulse Code Modulation, 差分脉冲编码调制)系统的专利，奠定了真正实用的预测编码系统的基础。 预测编码技术： 从过去的符号样本来预测下一个符号样本的值。 直观理解： 根据： 认为在信源符号之间存在相关性。如果符号的预测值与符号的实际值比较接近，它们之间的差值幅度的变化就比原始信源符号幅度值的变化小，因此量化这种差值信号时就可以用比较少的位数来表示差值。 DPCM的基础— 对预测的样本值与原始的样本值之差进行编码。 DPCM系统 量化器 预测器 编码器 xk - ek Sk 信 道 解码器 预测器 接收端 发送端 含有量化器的DPCM系统： 带反馈的非线性系统，难以对预测器和量化器进行严格的全局优化设计。 常用的简化方法：分别讨论，得到局部最优解。 DPCM系统的核心问题：预测器的设计 线性预测： 时不变线性预测： 简化，令ai(k) = ai 与 k无关,用原始取样值代xi替量化恢复值x’i 差值信号: 为了使预测误差在某种测度下最小,就要按照一定的准则,对线性预测系数进行优化。 MMSE线性预测 最小均方误差准则(MMSE) 使得预测误差的均方值 最小。 经典方法： 将 带入, 得到: 最小误差 必须与预测采用的所有数据正交。