信息论基础理论与应用5信道容量.ppt

主要内容 平均互信息的特性 非负性、极值性、交互性、凸状性 信道容量的一般计算方法 离散无噪信道 对称离散信道 准对称信道 一般离散信道容量 离散无记忆信道的N次扩展 3.3 平均互信息的特性 1 平均互信息的非负性 2 平均互信息的极值性 3 平均互信息的交互性 4 平均互信息的I(X,Y)的凸状形 平均互信息的非负性 平均互信息的极值性、交互性 2 平均互信息的极值性 I(X;Y)=H(X)-H(X|Y)≤H(X) 3 平均互信息的交互性 平均互信息的I(X,Y)的凸状形 4 平均互信息的I(X,Y)的凸状形 根据平均互信息的定义 平均互信息的I(X,Y)的凸状形 定理3.1 平均互信息I(X,Y)是输入信源X概率分布P(x)的∩型凸函数。 意义：当固定某信道时，选择不同的信源(其概率分布不同)与信道连接，在信道输出端接收到每个符号后获得的信息量是不同的。而且对每一个固定的信道， 一定存在一种信源，使输出端获得的平均信息量最大。 平均互信息的I(X,Y)的凸状形 定理3.2 平均互信息I(X,Y)是信道传递概率分布P(y|x)的∪型凸函数。 [证明] 设X的概率分布P(x)固定不变，则平均互信息I(X,Y)将只是信道传递概率P(y|x)的函数，简写成I[(P(y|x)],选择两种已知信道与此信源相连，设它们的传递概率分别为P1(y|x), P2(y|x),我们有选择第三种信道使其传递概率满足 平均互信息的I(X,Y)的凸状形 意义：当信源固定后，选择不同的信道来传输同一信源符号时，在信道的输出端获得的关于信源的信息量是不同的。同时由于是∪型凸函数，对每一种信源必存在一种最差的信道，此信道的干扰最大，而输出端获得的信息量最小 信道容量：对于固定的信道，总存在一种信源，使传输每个符号平均获得的信息量最大。也就是每个固定信道都有一个最大的信息传输率。定义这个最大的信息传输率为信道容量C。 单位是比特/符号或奈特/符号，而对应的输入概率分布为最佳概率分布。 单位时间内平均传输的信息速率为： 无噪无损信道 2、有噪无损信道 有噪无损信道 有噪无损信道 有噪无损信道 无噪有损信道 3.4.2 对称信道的信道容量 排列组成，对于对称离散信道，当输入符号x达到等概率分布，则输出符号y一定也达到等极率分布。 由此得对称离散信道的信道容量为 比特/符号 上式是对称离散信道能够传输的最大的平均信息量，它只与对称信道矩阵中行矢量 和输出符号集的个数s有关。 3.4.3 准对称信道的信道容量 3.4.4 一般离散信道的信道容量 信道的最佳概率分布不是唯一的。 互信息I(xi,Y)仅直接与信道的传递概率及输出概率分布有关。 输出概率分布是唯一的。 对于一般的信道容量，要用方程组式(3.89)来求解 例题讲解 [例3.9]求如图所示信道的信道容量及其最佳概率分布.并求信道容量C 两种情况 解：由图可得，信道的信道矩阵为 本章小结 平均互信息的特性： 非负性、极值性、交互性、凸状性 平均互信息I(X,Y)是输入信源X概率分布P(x)的∩型凸函数。 平均互信息I(X,Y)是信道传递概率分布P(y|x)的∪型凸函数。 信道容量：定义这个最大的信息传输率为信道容量C。 无噪无损信道、有噪无损信道和无噪有损信道。 例3.10 设无记忆信道输入X的符号集为{a1,a2,a3,a4},输出Y的概率分布为{b1,b2,b3,b4},信道传递矩阵如下 求其信道容量C及最佳输入概率分布 解：根据（3.99）式列方程组如下： 解得 求最佳概率分布 根据（3.101）式得： 解：根据式（3.99）可得由图可得： 3.5 离散无记忆信道的N次扩展 无记忆信道 1. 无记忆性： =1 1. 无预感性： 反之： 例1. BSC（二进制对称信道） 0 1 0 1 1. 输入： 2. 输出： 3. 传递概率： [例3.6] 强对称信道的信道矩阵是r×r矩阵， 求其信道容量。 其中p是总的错误传递概率，1-p是正确传递概率。二元对称信道的容量是 C=1-H（p） 注意： 1、当信道平均互信息达到信道容量时，输入信源符号集中每一个信源符号x对输出端Y提供相同的互信息，只是概率为零的符号除外。 2、达到最佳输入概率分布并不一定是唯一的。只要输入概率分布满足(3.92)，并使I(P)最大，它们都是信道的最佳概率分布 * * 离散信道输入