有噪声离散信道.pptx

?;存在一个信源的熵H(x)，或者是信道输入的熵（如果发送器是非奇异的，则这两个熵相等）。信道输出（也就是接收信号）的熵用H(y)表示。在无噪声情况下，H(y)=H(x)。输入与输出的联合熵为H(xy)。最后，有两个条件熵 和 ，分别是在输入已知时输出的熵和输出已知时输入的熵。在这些量中，存在如下关系： ;将熵作为不确定性的一种度量，在知道接收信号后，将消息的条件熵用作这一损失信息的度量看起来是合理的。根据这一思想，从生成速率（也就是信源的熵）中减去条件熵平均速率，就可以得到实际传送速率R。 将条件熵 称为“疑义度”。它度量了接收信号的平均模糊度 ; 如果该校正信道的容量为 ，则有可能对校正数据进行适当编码，以通过这一信道发送出去，除了任意小的一部分错误之外，所有其他错误都可以被纠正。如果校正信道的容量小于 ，则不可能实现。 大体来说， 就是为了校正接收消息，在接收点每秒钟必须提供的附加信息量。 示例：假定在一个二进制数位组成的序列中，随机出现错误：一个数位发生错误的概率为p，正确的概率为q=1-p。如果这些错误的位置已知，则可以进行纠正。因此，校正信道只需要发送有关这些错误位置的信息。这就相当于要传送一个信源生成的二进制数位，这些数据是1的概率为p（传送错误），是0的概率为q（传送正确）。这就一个容量为 -[p log p+q log q] 这就是原系统的疑义度。 ;传送速率R可以记为以下形式： ;一个有噪声信道的容量C应当是可能实现的最大传送速率，也就是说，在信源与信道恰好匹配时的速率。因此，我们将信道容量定义为： 如果信道是无噪声的，则;一个离散信道的简单示例：第一个符号永远不会受噪声影响。第二个和第三个符号以概率p不受干扰地通过，相互转换的概率为q。（令 ，P 和Q 分别为使用第一个和第二个符号的概率，）则有：;在P+2Q=1的约束条件下，使 达到最大。可令? 根据 可得： 于是，信道容量为： 注意这一结果在p=1和p=1/2的情况下与一眼即可看出的结果绝对吻合。在第一种情况下，β=1，C=log 3，这是正确的，因为这个信道是无干扰的，共有三个可能符号。如果β=2，则，C=log 2。这时根本无法区分第二个和第三个符号，它们好像是同一个符号。第一个符号的使用概率为，第二个和第三个加起来的概率为。可以采用任何期望方式在它们之间分布，仍然能够实现最大容量。;对于有噪信道，只要信道编码采取足够长的码长N，总存在某种编码方式，能使其传输错误概率任意小，且信道上的信息传输速率可以无限接近于信道容量，即在有噪信道中消息是可以可靠的传输的。 汉明码能够完全纠正所有错误，并以速率C进行传送。 每组发送七个符号，其中四个为消息符号，其余三个为冗余：