应用信息论-第10讲-率失真函数1课件.pptVIP

4.1 基本概念 4.2 离散信源的信息率失真函数 4.3 连续信源的信息率失真函数 4.4 信息率失真函数与信息价值 4.5 信道容量与信息率失真函数的比较 4.6 保真度准则下的信源编码定理 4.7 信息论“三大定理”总结 4.1.1 引言 4.1.2 失真度与平均失真度 4.1.3 信息率失真函数的定义 4.1.4 信息率失真函数的性质 4.1.1 引 言 (1) “消息完全无失真传送”的可实现性 信道编码定理：无论何种信道，只要信息率R小于信道容量C，总能找到一种编码，使在信道上能以任意小的错误概率和任意接近于C的传输率来传送信息。反之，若RC，则传输总要失真。 完全无失真传送不可实现： 实际的信源常常是连续的，信息率无限大，要无失真传送要求信息率R为无穷大； 实际信道带宽是有限的，所以信道容量受限制。要想无失真传输，所需的信息率大大超过信道容量RC。 4.1.1 引 言 (2) 实际中允许一定程度的失真 技术发展的需要 随着科学技术的发展，数字系统应用得越来越广泛，这就需要传送、存储和处理大量的数据。为了提高传输和处理效率，往往需要对数据压缩，这样也会带来一定的信息损失。 人类社会已进入信息时代，信息爆炸的结果要求人们解决如何对浩如烟海的数据有效的压缩，减少数据的存储容量(如各种数据库、电子出版物、多媒体娱乐)、传输时间(如数据通信和遥测)、或占有带宽(如多媒体通信、数字音频广播、高清晰度电视)，要想方设法压缩给定消息 集合占用的空间域、时间域和频率域资源。 如海洋地球物理勘探遥测数据，用60路传感器，每路信号1KHz，16位A/D量化，每航测1Km就需记录1盘0.5英寸的磁带，一条测量船每年就可勘测15000Km，数据流之大可见一斑。 4.1.1 引 言 实际生活中的需要 实际生活中，人们一般并不要求获得完全无失真的消息，通常只要求近似地再现原始消息，即允许一定的失真存在。 例如打电话：即使语音信号有一些失真，接电话的人也能听懂。人耳接收信号的带宽和分辨率是有限的。 放电影：理论上需要无穷多幅静态画面，由于人眼的“视觉暂留性”，实际上只要每秒放映24幅静态画面。 有些失真没有必要完全消除。 4.1.1 引 言 (3) 信息率失真理论 信息率失真函数 香农定义了信息率失真函数R(D)。 定理指出：在允许一定失真度D的情况下，信源输出的信息率可压缩到R(D)。 信息率失真理论是量化（模数转换）、数模转换、频带压缩和数据压缩的理论基础。 4.1.1 引 言 信息率失真函数极小值问题 I(X;Y)是P(X)和P(Y/X)的二元函数； 在讨论信道容量时：规定了P(Y/X) ， I(X;Y)变成了P(X)的函数。在离散情况下，因为I(X;Y)对p(xi)是上凸函数，所以变更p(xi)所求极值一定是I(X;Y)的极大值；在连续情况下，变更信源P(X)求出的也是极大值，但求极值时还要一些其它的限制条件。 在讨论信息率时可规定：p(xi) ，变更p(yj /xi)来求平均互信息的极值，称为信道容量对偶问题。由于I(X;Y)是p(yj /xi)的下凸函数，所求的极值一定是极小值。但若X和Y相互统计独立(p(yj /xi)= p(yj ))，这个极小值就是0，因为I(X;Y)是非负的，0必为极小值，这样求极小值就没意义了。 引入一个失真函数，计算在失真度一定的情况下信息率的极小值就变长有意义了。 4.1.2 失真度与平均失真度 (1) 信息率与失真的关系 (2) 失真度 (3) 常用的失真函数 (4) 平均失真度 (5) N次扩展信道的平均失真度 4.1.2 失真度与平均失真度 (1) 信息率与失真的关 信道中固有的噪声和不可避免的干扰，使信源的消息通过信道传输后造成误差和失真 误差或失真越大，接收者收到消息后对信源存在的不确定性就越大，获得的信息量就越小，信道传输消息所需的信息率也越小。 4.1.2 失真度与平均失真度 (2) 失真度 失真度 设离散无记忆信源为 4.1.2 失真度与平均失真度 对每一对(xi,yj)，指定一个非负函数 d(xi,yj)≥0 i=1,2,…,n j=1,2,…,m 称d(xi,yj)为单个符号的失真度/失真函数。表示信源发出一个符号xi，在接收端再现yj所引起的误差或失真。 4.1.2 失真度与平均失真度 失真矩阵 失真度还可表示成矩阵的形式 称[D]为失真矩阵。它是n×m阶矩阵。 连续信源和连续信道的失真函数 在连续信源和连续信道情况下，失真度定义为 d(x,y)≥0 4.1.2 失真度与平均失真度 (3) 常用的失真函数 第一种 当i=j时，X与Y的取值一样，用Y来代表X就没有误差，所以定义失真度为0； 当i≠j