信息论与编码纠错第4章.ppt

再算得 信息论与编码 第4章 离散信道的信道容量 内容提要 信道对于信息率的容纳并不是无限制的，它不仅与物理信道本身的特性有关，还与信道输入信号的统计特性有关，它有一个极限值，即信道容量，信道容量是有关信道的一个很重要的物理量。这一章研究信道，研究在信道中传输的每个符号所携带的信息量，并给出信道容量的定义和计算方法。 §4.1信道容量的定义 一．信息传输率 平均互信息量 H ( X )：信道输入方关于发送符号集X中的某个消息的平均不确定性； H(X/Y)：信道输出方接收到符号集Y后对X发送消息仍存在的平均不 确定性； I(X;Y)：为通信过程中获得的信息量，也就是平均每个码元所携带的信息量。 对于单符号传输情况，信息传输率为： 二．信道容量 信息传输率是衡量通信质量的一个重要指标，由前面的定理知：对于固定信道，总存在某种输入概率分布 p ( x ) ，使 I（X; Y）达到最大值，定义这个最大值为信道容量，记为C。 使I（X; Y）达到信道容量的分布p(x)为最佳分布。 信道容量C就是在保证可靠通信的前提下，信道所能容纳的最大信息传输量。 对于固定信道，信道容量C是一个固定值；对于不同信道，C不同，信道容量C是信道转移概率p(y/x)的函数。 §4.2 离散无记忆信道容量的计算 一．离散无记忆信道的容量 如果信道输入的是N维序列XN，其概率分布为P（XN），输出的是N维序列YN，则平均互信息量记为I（XN；YN），此时N维信道容量定义为： 下面一条定理给出了一维信道和N维信道的信道容量之间的关系。 定理：如果信道是离散无记忆（DMC）的，则CN ? NC， 其中C是同一信道传输单符号时的信道容量。 证明：对于DMC信道，由定理2.4（若信道离散无记忆，则信道输入、输出符号序列间的平均互信息量I（XN；YN）小于等于各单个符号间平均互信息量的总和） （1）若输入的N个符号统计独立，即信源离散无记忆,根据[定理2.3]有： （信源无记忆，则信道输入、输出符号序列间的平均互信息量I（XN；YN）大于等于各单个符号间平均互信息量的总和 ） （2）对每个i，输入分布p (xi) 可使I (Xi; Yi) 达到信道容量C，则： 则： 综上，在信源和信道都离散无记忆的情况下，有CN＝NC，即定理中等号成立，这时N长序列的传输问题可归结为单符号传输问题。 二．达到信道容量的充要条件 定理：使平均互信息量I（X; Y）达到信道容量C的充要条件是信道输入概率分布 简记为p (X) = { p (x1), p (x2), …, p (xM)}满足： 说明：定理只给出了使平均互信息量达到信道容量的充要条件，并没有给出求信道容量及信道输入概率分布的显式，它只能用来求解一些特殊情况的信道容量。 下面介绍几种特殊信道信道容量的求解。 对于特殊信道，信道的输入X和输出Y之间有着确定的关系，一般有三类：有噪无损信道、无噪确定信道和无噪无损信道。 【例】 有噪无损信道 无损信道的输入符号集元素个数小于输出符号集的元素个数，信道的一个输入对应多个互不交叉的输出，如图所示，信道输入符号集X ={x1, x2, x3}，输出符号集Y ={y1, y2, y3, y4, y5 , y6}，其信道转移概率矩阵记为P，计算该信道的信道容量。 【解】 1．先考察平均互信息量I（X; Y）= H（X）- H（X/Y），在无噪信道条件下，H（X/Y）= 0，则平均互信息量I（X; Y）= H（X）。 2．根据定义计算信道容量C 从上式可看出，求信道容量C的问题转化为寻找某种分布p (x) 使信源熵H（X）达到最大，由极大离散熵定理知道，在信源消息等概分布p(x1) = p(x2) = p(x3) = 1/3时，熵值达到最大，即有 3. 根据平均互信息量I（X; Y）达到信道容量的充要条件式对C进行验证： 先根据计算出p(yj)（j =1，2，3，4，5，6） 再计算出： 上面三式均满足平均互信息量达到信道容量C的充要条件，故C = log3。 【例】 无噪确定信道 确定信道的输入符号集的元素个数大于输出符号集的个数，信道的一个输出对应多某个个互不交叉的输入，这时输入符号以确定的概率1指向某个输出符号，如图所示。信道输入符号集X＝{x1, x2, x3, x4, x5}，输出符号集Y＝{y1, y2}，其信道转移概率矩阵记为P，计算该信道的容量。 【解】 1．先考察平均互信息量I（X; Y）= H（Y）- H（Y/X），对于确定信道，H（Y / X）= 0，则平均互信息量I（X; Y）= H（Y） 2．根据定义计算信道容量C 由于 ，由于信道转移概