informationandcoding2010lecture17.ppt

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 求信道容量的方法 信道容量是假定信道固定的前提下，选择一种试验信源，使信息率最大。一旦找到了这个信道容量，它就与信源不再有关，而是信道特性的参量，随信道特性的变化而变化。 7.1.3 信息率失真函数的定义 7.1 基本概念 * * 求信息率失真函数的方法 信息率失真函数R(D)是假定信源给定的情况下，在用户可以容忍的失真度内再现信源消息所必须获得的最小平均信息量。它反映的是信源可压缩程度。率失真函数一旦找到，就与求极值过程中选择的试验信道不再有关，而只是信源特性的参量。不同的信源，其R(D)是不同的。 7.1.3 信息率失真函数的定义 7.1 基本概念 * * (4) 研究信道编码和率失真函数的意义 研究信道容量的意义：在实际应用中，研究信道容量是为了解决在已知信道中传送最大信息率问题。目的是充分利用已给信道，使传输的信息量最大而发生错误的概率任意小，以提高通信的可靠性。这就是信道编码问题。 研究信息率失真函数的意义：研究信息率失真函数是为了解决在已知信源和允许失真度D的条件下，使信源必须传送给信宿的信息率最小。即用尽可能少的码符号尽快地传送尽可能多的信源消息，以提高通信的有效性。这是信源编码问题。 7.1.3 信息率失真函数的定义 7.1 基本概念 * * 7.1.4 信息率失真函数的性质 (1) 率失真函数的定义域 什么是率失真函数的定义域 允许平均失真度：率失真函数中的自变量D，也就是人们规定的平均失真度 的上限值。 率失真函数的定义域问题就是在信源和失真函数已知的情况下，讨论允许平均失真度D的最小和最大值问题。 D的选取必须根据固定信源X的统计特性P(X)和选定的失真函数d(xi , yj)，在平均失真度 的可能取值范围内。 7.1 基本概念 * * 7.1.4 信息率失真函数的性质 信源最小平均失真度Dmin 是非负函数d(xi , yj)的数学期望，也是一个非负函数，显然其下限为0。因此允许平均失真度D的下限也必然是0，这就是不允许有任何失真的情况。 允许平均失真度D能否达到其下限值0，与单个符号的失真函数有关。 信源最小平均失真度Dmin ：对于每一个xi，找出一个yj与之对应，使d(xi , yj)最小，不同的xi对应的最小d(xi , yj)也不同。这相当于在失真矩阵的每一行找出一个最小的d(xi , yj) ，各行的最小d(xi , yj)值都不同。对所有这些不同的最小值求数学期望，就是信源的最小平均失真度。 7.1 基本概念 * * 7.1.4 信息率失真函数的性质 只有当失真矩阵的每一行至少有一个0元素时，信源的平均失真度才能达到下限值0。当Dmin=0时（信源不允许任何失真存在），信息率至少应等于信源输出的平均信息量（信源熵），即R(0)=H(X)。 连续信源有 。这时虽然信源熵是有限的，但信息量是无穷大。实际信道容量总是有限的，无失真传送这种连续信息是不可能的。只有当允许失真（R(D)为有限值），传送才是可能的。 7.1 基本概念 * * 7.1.4 信息率失真函数的性质 信源最大平均失真度Dmax 信源最大平均失真度Dmax ：必须的信息率越小，容忍的失真就越大。当R(D)等于0时，对应的平均失真最大，也就是函数R(D)定义域的上界值Dmax 。 信息率失真函数是平均互信息的极小值： 当R(D) =0时，即平均互信息的极小值等于0； 当DDmax时，从数学意义上讲，因为R(D)是非负函数，所以它仍只能等于0。这相当于输入X和输出Y统计独立。意味着在接收端收不到信源发送的任何信息，与信源不发送任何信息等效。或者说传送信源符号的信息率可以压缩至0。 7.1 基本概念 * * 7.1.4 信息率失真函数的性质 计算Dmax的值 令试验信道特性 p(yj /xi)= p(yj) (i=1,2,…,n) 这时X和Y相互独立，等效于通信中断，因此I(X;Y) =0，即R(D)=0。 满足上式的试验信道有许多，相应地可求出许多平均失真值，从中选取最小的一个，就是这类平均失真值的下界Dmax 。 上式是用不同的概率分布{p(yj)}对Dj求数学期望，取数学期望当中最小的一个作为Dmax 。 7.1 基本概念 * * 7.1.4 信息率失真函数的性质 实际是用p(yj)对Dj进行线性分配，使线性分配的结果最小。当p(xi)和d(xi , yj)给定时，必可计算出Dj ，Dj随j的变化而变化， p(yj)是任选的