大学信息论与纠错编码.ppt

* p C 信道无噪声 当ε = 0, C =1－0 = 1bit = H(X) 当ε =1/2, 信道强噪声，信道容量为0 BSC信道容量 离散无记忆模K加性噪声信道 取值范围：Z=X=Y={0,1,…,K-1}，X为信道输入，Y为信道输出，Z为信道干扰。 y=x⊕z mod K 例3-3离散无记忆模K加性噪声信道， X=Y={0,1,…,K-1}， y=x⊕z mod K， 求该信道容量。该信道具有对称DMC信道特征，其概率转移概率为： * 0 1 K-1 0 1 2 K-1 信道示意图如右图所示： 利用公式 得到  * 串联信道 C(1,2)=maxI(X;Z)，C(1,2,3)=maxI(X;W)… Q:信道容量与串联信道多少的关系？ Y W Z * [例]设有两个离散BSC信道串接，两个BSC信道的转移矩阵如下，求信道容量； * 信道容量 I(X;Y)=1-H(?)，I(X;Z)=1-H[2? (1-?)] 串联信道容量 X0 0Z Y 1 1 1-ε 1-ε ε 1-ε ε BSC信道串联 1-ε * 准对称DMC信道 如果转移概率矩阵P是输入对称而输出不对称，即转移概率矩阵P的每一行都包含同样的元素而各列的元素可以不同，则称该信道是准对称DMC信道，例： * 准对称DMC信道容量 对于准对称DMC信道，当输入分布为等概分布时，互信息达到最大值。信道容量： * 对称DMC信道例子 如果一个矩阵的每一行都是同一集合中诸元素的不同排列，我们称矩阵的行是输入对称的； 如果一个矩阵的每一列都是同一集合中诸元素的不同排列，我们称矩阵的列是输出对称的； 如果一个信道的矩阵输入输出都是对称的，该信道称为对称信道。 【例4.6】 信道输入符号集X = {x1, x2}，输出符号集Y = {y1, y2, y3, y4}，给定信道 转移概率矩阵 ，求该信道的信道容量C。 这是一个准对称信道，根据定理4.3，当X等概分布， 时，信道容量 平均互信息量 I（X; Y）= H（Y）-H（Y︱X） (4-7) 定理4.3 实现DMC准对称信道的信道容量的分布为等概分布 由 ，先算出 (4-8) 将式(4-8)和 代入式(4-7)，可算得信道容量 = 0.0325 (比特/符号) 【例4.8】 信道输入符号集X = {x1, x2 }，输出符号集Y = {y1, y2, y3}，给定信道转移概率矩阵 ，求信道容量C。 设使平均互信息量达到信道容量的信源分布为 q(x1) =? ， q(x2) =1-? 。 由 可算出 2. 信源只含两个消息 平均互信息量 I(X; Y) = H(Y) –H (Y︱X) = -(1-q) [? log? + (1-?) log (1-?)] 根据定义，求C的问题就转化为?为何值时，I (X; Y ) 达到最大值。令 则信道容量 C = I (X; Y)︱a=0.5 = 1-q * [例]求信道容量，信道转移矩阵如下： 信道输入符号和输出符号的个数相同，都为n； 正确的传输概率为1－?，错误概率?被对称地均分给n-1个输出符号； 强对称信道或均匀信道，是对称离散信道的一个特例。 含义？ * n=2时，即为：二进制对称信道，容量为 C＝1－H（?） * ε C 信道无噪声 当ε = 0, C =1－0 = 1bit = H(X)= log2 当ε =1/2, 不确定性最大，信道容量为0 BSC信道容量 当ε =1，强噪信道 强噪信道，也可使C=log2 计算信道容量C按下面步骤进行： (1)先验证信道转移概率矩阵P =[p(yj︱xi)]是方阵，且矩阵