第3章：信道容量.ppt

例：设两个离散二元对称信道。设第一个信道的输入符号的概率空间为 并联信道及其信道容量 信道1 信道2 信道N ….. 输入并接信道 信道1 信道2 信道N ….. 并用信道 输入并接信道 性质：输入并联信道的容量大于任何一个单独的信道，小于maxH(X)。 输入并接信道可以看成一个单输入多输出的信道，其输入为X，输出为Y∈{y1,y2,…,yj,…,yn} 信道1 信道2 信道N ….. 输入并接信道 通信中的分集，就是典型的输入并联信道 并用信道 并用信道的容量 通信中的复用，就是典型的并用信道 并用信道是多输入，多输出。X和Y由彼此独立的N个信道传输 信道1 信道2 信道N ….. 并用信道 * b 对称离散信道定义 举例： b 对称离散信道定义 举例： c 对称离散信道的信道容量 c 对称离散信道的信道容量 对称离散信道的信道容量与强对称的形式相同，只是这里 m≠n。 由于对称信道的特点，其信道矩阵中每一列都是由同一集合中的诸元素的不同排列组成，所以保证了当 X 等概率分布时，Y 也是等概率分布，从而使 Y 的熵达到最大值 log2m，即信道容量。 准对称离散信道定义：一个 n 行 m 列单符号离散信道矩阵 [P] 的行可排列，列不可排列。但是矩阵中的 m 列可分成 S 个不相交的子集，各子集分别有m1,m2,…,ms个元素(m1+m2+…+ms=m)，由 n 行 mk(k=1,2,…,s) 列组成的子矩阵 [P]k 具有可排列性。 举例 两个子矩阵均是可排列的，故信道 [P] 是准对称信道。 ④ 准对称离散信道的信道容量 准对称离散信道容量为： 可以证明：实现离散准对称无记忆信道信道容量的输入符号集的分布为等概率分布。 举例 已知准对称信道矩阵 ，求其信道容量 ① 如何计算离散信道容量 ② 用拉格朗日乘子法求信道容量 ③ 一般离散信道容量计算步骤 (3) 离散信道容量的一般计算方法 ① 如何计算离散信道容量 由于 I(X;Y) 是输入概率分布 p(xi) 的上凸函数，所以极大值一定存在。 因为 I(X;Y) 是 n 个变量 {p(x1),p(x2),…,p(xn)} 的多元函数，并满足 ，所以可用拉各朗日乘子法计算这个条件极值。 对一般离散信道求信道容量，就是在固定信道条件下，对所有可能的输入概率分布 p(xi) ，求平均互信息的极大值。 ② 用拉各朗日乘子法求信道容量 引进一个新函数 其中λ为拉各朗日乘子，解方程组： 可得一般信道容量 C。 将 I(X;Y) 的表达式代入(3.2.21)得： 整理得： 上式左边为平均互信息的极大值，即： ③ 一般离散信道容量计算步骤 一般离散信道容量的计算步骤总结如下： 注意： 在第②步信道容量 C 被求出后，计算并没有结束，必须解出相应的 p(xi) ，并确认所有的 p(xi)≥0 时，所求的 C 才存在。 在对 I(X;Y) 求偏导时，仅限制 ，并没有限制 p(xi)≥0 ，所以求出的 p(xi) 有可能为负值，此时 C 就不存在，必须对 p(xi) 进行调整，再重新求解 C。 现在一般采用计算机，运用迭代算法求解。 注意： 在第②步信道容量 C 被求出后，计算并没有结束，必须解出相应的 p(xi) ，并确认所有的 p(xi)≥0 时，所求的 C 才存在。 在对 I(X;Y) 求偏导时，仅限制 ，并没有限制 p(xi)≥0 ，所以求出的 p(xi) 有可能为负值，此时 C 就不存在，必须对 p(xi) 进行调整，再重新求解 C。 现在一般采用计算机，运用迭代算法求解。 注意： 在第②步信道容量 C 被求出后，计算并没有结束，必须解出相应的 p(xi) ，并确认所有的 p(xi)≥0 时，所求的 C 才存在。 在对 I(X;Y) 求偏导时，仅限制 ，并没有限制 p(xi)≥0 ，所以求出的 p(xi) 有可能为负值，此时 C 就不存在，必须对 p(xi) 进行调整，再重新求解 C。 现在一般采