第讲一般单符号离散信道的信道容量.pptVIP

3.2 离散单个符号信道及其容量 信息传输率R：信道中平均每个符号所能传送的信息量 信息传输速率Rt:信道在单位时间内平均传输的 信息量。t为平均传送一个符号所需的时间。 说明： 信道容量是信道本身的特性，与信源无关； 不是所有的信源传输符号时都可以达到这个传输速率，使信道达到最大传输率的输入概率分布称为最佳输入分布； 信道容量是信息传输率R的上限，定量了信道信息的最大通过能力。 4.2.2 无干扰离散信道 无噪现象：1个输入只对应1个输出，噪声熵H(Y|X)=0 无损现象：1个输出只对应1个输入，疑义度H(X|Y)=0 无噪无损信道：即X、Y一一对应，则 H(Y|X)= H(X|Y)= 0 有噪无损信道：一个输入X产生多个输出Y （有噪）,而且每个X值所对应的Y值不重合；又因为信道无损，接收到符号Y后，X完全确定。 因为无损：H(X/Y)=0，有噪：H(Y/X)≠0 所以：I(X;Y)=H(X)H(Y) 无噪有损信道： 一个Y对应多个X，而且每个Y 值所对应的X值不重合。接收到符号Y后不能完全消除对X的不确定性。 H(X/Y) ≠0；I(X;Y)=H(Y) H(X) 损失熵（疑义度）H(X/Y) = 0 的信道称为无损信道，其信道容量为： 其中，r为输入信源X的符号个数，等概率分布时H(X)最大。 噪声熵 H(Y/X) = 0 的信道称为无噪信道，其信道容量为： 其中，s为输出信源Y的符号个数，等概率分布时H(Y)最大。 一一对应的信道称为无噪无损信道 X、Y一一对应，无噪无损信道 C＝maxI(X;Y)＝log r 多个输入变成一个输出，无噪信道 C＝maxI(X;Y)＝maxH(Y) 一个输入对应多个输出，无损信道 C＝maxI(X;Y)＝maxH(X) 4.2.3 对称DMC信道 对称DMC信道定义 输入对称 转移概率矩阵P的每一行都是第一行的重新排列(包含同样元素)，称该矩阵是输入对称。 输出对称 转移概率矩阵P的每一列都是第一列的重新排列(包含同样元素)，称该矩阵是输出对称。 对称的DMC信道 输入、输出都对称。 对称DMC信道例子 因为输入对称所以条件熵 又输出对称，若信道输入符号等概率分布，则 与j无关，即信道输出也等概率分布；反之，若信道输出符号等概率分布，对称信道的输入符号必定也是等概率分布的。因此要使H(Y)最大，只有信道输出符号等概率分布，此时输入符号也等概率分布。 则对称DMC信道的容量为 信道转移概率矩阵如下：信道输入符号和输出符号的个数相同，都为r，且正确传输概率为1－?，错误概率?被对称地均分给r-1个输出符号，此信道称为强对称信道或均匀信道，是对称离散信道的一个特例 当n=2时，即为二进制对称信道 C＝1－H（?）=1- ?log ? - (1- ?)log(1- ?) 4.2.4 准对称DMC信道 定义： 如果转移矩阵P 的列可以划分成若干个互不相交的子集Bk，（即B1∩B2 …∩Bk=?；B1∪B2…∪Bk= P） 且每个子集所组成的子阵都是输入输出对称矩阵，则称该信道是准对称DMC信道。 要判断一个信道是否为离散准对称信道，必须对该信道的转移矩阵进行适当的调整，即按列重排再按列分块。这种调整，就是定义中所说的将转移矩阵的列划分成子集再组成子阵的过程。转移矩阵的列与输出符号对应，因此，把转移矩阵的列划分成互不相交的子集，也相当于把信道的输出符号集合中的符号划分成互不相交的子集。 结论：对于准对称DMC信道，当输入分布为等概分布时，互信息达到最大值。信道容量表示为： 将转移概率矩阵划分成若干个互不相交的对称的子集，r为输入符号集个数；p’1，p’2，…p’s是转移概率矩阵P 中一行的元素；Nk 是第k个子矩阵中行元素之和，Mk是第k个子矩阵中列元素之和，t是互不相交的子集个数。 如 4.2.5 一般离散信道的信道容量 信道容量计算：对所有可能的输入概率分布P(ai)求该信道平均互信息I(X;Y)的极大值。 由于I(X;Y)是P(ai)的∩型上凸函数，所以极大值一定存在。n个变量满足概率存在条件：? P(ai)＝1。 当信道给定时，条件转移概率矩阵P(bj|ai)都为定量。 计算：拉格朗日乘数法计算该条件极值 引进一个新函数 先求出达到极值的概率分布和拉格朗日乘数?的值，然后再求解出信道容量C。 例 信道的输入符号有两个，设p(a1)＝?，p(a2)＝1－?。信道的输出符号有三个，用b1、b2、b3表示。 * 4.2 离散单个符号信道及其容量 4.2.1 离散单符号信道及其容