信息论其他课件第4章信息率失真函数.pptx

第4章信息率失真函数 内容4.1 平均失真和信息率失真函数4.2 离散信源和连续信源的R(D)计算引言编码分为信源编码和信道编码，其中信源编码又分为无失真信源编码和限失真信源编码。 无失真信源编码：适用于离散信源或数字信号。 限失真信源编码：主要用于连续信源或模拟信号，如语音、图像等信号的数字处理。引言信源编码的过程一般可等效为YX信源编码器X∈{a1,…an}Y∈{b1,…bm}信道传输允许一定的失真实际上，信源的输出常常是连续的消息，连续信源的绝对熵为无限大。而在信道中，由于带宽总是有限的，所以信道容量受到限制。为此，在实际通信中，信源输出的信息传输率总是大大超过信道容量，因此也就不可能实现完全无失真地传输信源的消息。另一方面，完全的无失真也是不必要的。传送每秒25帧的图像就能满足人类通过视觉感知信息的要求，而不必占用更大的信息传输率；人类的听觉对大多数人只能听到几千赫兹到十几千赫兹，对于经过专业训练的音乐家，一般也不过听到20kHz的声音。结论：实际应用要求在保证一定质量前提下在信宿近似地再现信源输出的信息，或者说在保真度准则下允许信源输出存在一定的失真。在允许一定程度失真的条件下，能够把信源信息压缩到什么程度？也就是，在允许一定程度失真的条件下，如何能快速地传输信息。这就是本章讨论的问题。YX试验信道Y∈{b1,…bm}X∈{a1,…an}在限失真信源编码的情况下，信源的编码会引起接收信息的错误，这一点与信道干扰引起的错误可作类比。所以在研究限失真信源编码的时候，为便于讨论，总是把限失真信源编码的效果等同于一个“试验信道”。限失真信源编码引起的错误可看作试验信道的转移概率产生的结果。Y信源编码器（试验信道）XX∈{a1,…an}Y∈{b1,…bm}信源编码后的信息量如同经过“试验信道”传输得到的信息量，所以一般称为编码后的信息率(编码后平均每个符号所携带的信息量)。限失真编码误差或失真越大，接受者收到消息后对信源存在的不确定性就越大，获得的信息量就越小，信道传输消息所需的信息率就越小。所以信息率与失真有关，为了定量的描述信息率与失真之间的关系，必须先定义失真的测度。4.1 平均失真和信息率失真函数4.1.1 失真函数 假如某一信源X,输出样值xi , xi∈{a1,a2,…an},经信道传输后变成yj , yj ∈{b1, b2,…bm},如果: xi ＝ yj 没有失真 xi ≠ yj 产生失真失真的大小,用一个量来表示,即失真函数d(xi,yj),以衡量用yj代替xi所引起的失真程度。失真函数定义为：失真函数将所有的d(xi,yj)排列起来,用矩阵表示为:失真矩阵例：设信源符号序列为X={0,1},接收端收到符号序列为Y= {0,1,2},规定失真函数为 d(0,0)＝d(1,1)= 0 d(0,1)＝d(1,0)= 1 d(0,2)＝d(1,2)= 0.5失真矩阵失真函数失真函数形式可以根据需要任意选取,最常用的有:适于连续信源均方失真:适于离散信源绝对失真:相对失真:误码失真:汉明失真矩阵 对于二元对称信源(m=n),X={0,1},Y={0,1},汉明失真矩阵:失真函数的定义推广到矢量传输假定离散矢量信源输出符号序列为XL=（X1X2…XL）其中第l个符号Xl的取值为{a1,a2…an}其中L长符号序列样值经信源编码后，接收端收到的L长符号序列为YL=（Y1Y2…YL）其中第l个符号Yl的取值为{b1,b2,…bm}其中L长符号序列样值失真函数定义为：例：假定离散矢量信源L=3,输出矢量序列为X=X1X2X3,其中Xi(i=1,2,3)的取值为{0,1},经信源编码后的输出为Y=Y1Y2Y3,其中Yj(j=1,2,3)的取值为{0，1}，定义失真函数d(0,0)=d(1,1)=0,d(0,1)=d(1,0)=1,求矢量失真矩阵[dL]类似可以得到其他元素数值，矢量失真矩阵为：4.1.2 平均失真 xi和yj都是随机变量,所以失真函数d(xi,yj)也是随机变量。要分析整个信源的失真大小，就需要用其数学期望或统计平均值来表示。将失真函数的数学期望称为平均失真：p(ai),i=1,2,…,n 是信源符号概率分布；P(bj/ai) 是符号转移概率分布；d(ai,bj) 是离散随机变量的失真函数。失真函数d(xi,yj)：描述了某个信源符号通过传输后失真的大小平均失真 ：描述某个信源{p(ai)}经过某一有失真信源编码器 {p(bj/ai)}(试验信道) 产生的总体度量，从整体上描述整个系统的失真。p(bj/ai)YYXX信源编码器信源编码器X∈{a1,…an}X∈{a1,…an}Y∈{b1,…bm}Y∈{b1,…bm}L长序列的平均失真如果假定离散信源输出符号序列XL＝{X1X2… Xl… XL},其中L