工学信道及信道容量.pptxVIP

第四章：信道及信道容量;;幅度;按输入/输出之间的记忆性来划分： 无记忆信道：信道在某时刻的输出只与信道该时刻的输入有关而与信道其他时刻的输入、输出无关。 有记忆信道：信道在某时刻的输出与其他时刻的输入、输出有关。 根据信道的输入/输出是否是确定关系可分为: 有噪声信道 无噪声信道 ; 根据信道的统计特性是否随时间改变可分为: 平稳信道（恒参信道、时不变信道，如卫星通信） 非平稳信道（变参信道、时变信道，如移动通信）; 根据输入/输出的个数可分为： ??用户信道：一个输入一个输出单向通信。 多用户信道：双向通信或三个或更多个用户之间相互通信的情况 ，例如多元接 入信道、广播信道、网络通信信道等。;一. 信道分类（续5）;1.离散单符号信道的数学模型;1.离散单符号信道的数学模型（续1）;1.离散单符号信道的数学模型（续2）;;例1：二元对称信道 （BSC：binary symmetric channel） ;例2：二元删除信道 输入符号集A={0,1}，符号输出集B={0,?,1}，r=2, s=3 ;; 2. 输出符号概率: j=1,2,…,s ;3. 后验概率（后向概率）: 贝叶斯公式;理想信道，H(X|Y)=0。 一般情况下， 。 当 时，表示接收到输出变量Y后关于输入变量X的平均不确定性一点也没有减少。; ; ; ; ;1.离散单符号信道的数学模型（续14）;解：由先验概率和信道转移矩阵可得输出符号Y的概率分布 ;X、Y的联合概率分布为 p(xi yj)= p(xi)p(yj| xi) ;由联合概率分布和Y的概率分布可得后验概率为 ;1.离散单符号信道的数学模型（续18）;另外， 还可以先求得后验熵： ， ，再通过下式计算： ;2. 信道容量的概念; 在信道确定的情况下， 是信源概率分布 的上凸函数。因此，必然存在一种信源概率分布使信息传输率 最大。定义这个最大的信息传输率为信道容量：; 信道容量： 与信源的概率分布无关； 是完全描述信道特性的参量； 是信道能够传输的最大信息量。;第四章：离散信道及其容量;2) 固定信道，当 时， 平均互信息取得最大值。;比特/符号 ;3. 几种特殊信道的信道容量;3. 几种特殊信道的信道容量（续1）;2. 无噪信道：无噪有损信道，它是一个输出对应多个输入。（具有归并性能）;3. 几种特殊信道的信道容量（续3）;3. 无噪无损信道：输入、输出之间有确定的一一对应关系。 ;3. 几种特殊信道的信道容量（续5）;;;定义3：虽然不是对称信道，但是信道矩阵可以按列分为一些对称的子阵，则称之为准对称信道。;定义4： 若r=s，且对于每一个输入符号，正确传输概率都相等，且错误传输概率 p 均匀地分配到 r-1 个符号，则称此信道为强对称信道或均匀信道。;强对称信道具备四个特征： 1. 矩阵中的每一行都是第一行的排列；(行对称) 矩阵中的每一列都是第一列的排列。(列对称) 2. 信道输入与输出消息（符号）数相等，即 r=s。 3. 错误分布是均匀的：信道矩阵中正确传输概率都相等，且错误传输概率均匀地分配到r-1个符号上。 4. 不仅每一行元素之和为1，每一列元素之和也为1。 显然，对称性的基本条件是1，而2、3、4是加强条件。; 放松对信道的约束，仅满足条件1，就构成一般的对称信道。 例1： 例2： ; 再进一步放松条件，信道矩阵按列分成若干子阵，如果子阵是对称的，则称为准对称信道。 ;定理4.1 对于对称信道，当信道输入概率分布为等概分布时，输出概率分布必为等概分布。 证明：当输入为等概分布时 则输出 ， 其中; 又因为 即当信道输入为等概分布时，输出 亦为等概分布。 ;定理4.2 对称信道 当信道输出概率分布为等概的情况下达到信道容量： 其中 是信道矩阵中的任意