第四章信道解析.ppt

* * * * * * * * * * * * * * * * * * * * * * * * * * * * 推广到一般，矩阵中每行元素集合为同一集合{P1i， P2i，…，Pji，…，PLi}，每列元素为同一集合{Pj1， Pj2，…，Pji，…，PjM},如果每行元素相同，每列元素不相同，称为准对称信道。 例如 对称有扰离散信道具有性质： 对称信道的条件熵H(Y|X)与信道输入消息的概率分布{P1， P2，…，Pi，…，PM}无关，且有H(Y|X)＝H(Y|xi) 证明：在给定一个xi条件下的条件熵H(Y|xi)为 条件熵H(Y|X)为 因为对称信道的信道矩阵上各行所包含元素相同，则在不同Xi条件下的H(Y|xi)都相等，为恒值 所以条件熵H(Y|X)公式可写成： ②传输K重符号序列消息的有扰离散信道的统计特性 通信系统一般传递符号序列消息 设信道输入K重符号序列消息为(α1，α2，…，αi，…，αK),输出的K重符号序列消息为(β1，β2，…，βj，…，βK)。其中信道输入符号序列的第i个符号αi可在包含有Mi个不同符号集合Xi中任意选择，输出符号序列的第j个符号βj可在包含有Lj个不同符号的集合Yj中任意选择，即 αi ∈ Xi ＝{αi m |m＝1,2, …, Mi；i＝1,2, …,k} βi ∈ Yj ＝{βjl |l＝1,2, …, Lj ；j＝1,2, …,k} 且有 (α1，α2，…，αi，…，αK)∈XK (β1，β2，…，βj，…，βK)∈YK 信源XK可发出不同符号序列消息的数目R为 R＝ M1·M2· … ·Mi· … ·Mk 信宿YK中可包含的不同符号序列消息的数目Q为 Q＝ L1·L2· … ·Lj· … ·Lk 特例为，当信道输入符号序列消息中的任意一个符号都是含有M个不同符号的同一集合X中选择，即X1＝X2＝…＝Xi＝…＝Xk＝X,则信源XK可发出的不同符号序列消息的数目R为 R＝ MK 同理，输出符号序列消息中任意一个符号都在包含有L个不同符号的同一集合Y中选择，即Y1＝Y2＝…＝Yj＝…＝Yk＝Y,信宿YK中可包含的不同符号序列消息的数目Q为 Q＝ LK 信道输入符号序列消息(α1，α2，…，αi，…，αK)还可以用一个K维的信道输入随机变量u表示 u＝ (α1，α2，…，αi，…，αK) 同理，可用一个K维的输出矢量v表示输出符号序列消息 v＝ (β1，β2，…，βj，…，βK) 传输K重符号序列消息的有扰离散信道的统计特性可用信道传输概率PK(v|u)构成的信道矩阵П来描述 上式信道矩阵П中，m行l列的元素PK(vl|um)为 PK(vl|um)＝P((β1 ,β2 ,… ,βj ,… ,βK)l|(α1 ,α2 ,… ,αi ,… ,αK)m) 其中 l＝1，2，…，Q ； m＝1，2，…，R 信道按照有无记忆能力分类，可分为无记忆信道和有记忆信道.有记忆信道又可根据信道记忆的长度分为有限记忆信道和无限记忆信道。 有限记忆信道的信道传输概率PK(v|u)为 PK(v|u)＝PK((β1 ,β2 ,… ,βj ,… ,βK)|(α1 ,α2 ,… ,αi ,… ,αK)) ＝P1(β1 |α1)· P2(β2 |α1 , α2 )· … ·Pk(βk |α1 , α2 , … , αK) 无记忆离散信道的信道传输概率PK(v|u)为 PK(v|u)＝PK((β1 ,β2 ,… ,βj ,… ,βK)|(α1 ,α2 ,… ,αi ,… ,αK)) ＝P1(β1 |α1)· P1(β2 |α2 )· … ·P1(βk |αK) ＝ 4.2.消息在有扰离散信道上的信息传输速率 ①信源发出单个符号消息 在一个符号时间内，信源X发出的平均信息量为H(X)，由于存在干扰和噪声，损失掉的平均信息量为疑义度H(X|Y)，所以在一个符号时间内信道上传输的信息量为平均互信息量I(X；Y)，即 I(X；Y)＝H(X)－H(X|Y) 或 I(X；Y)＝H(Y)－H(Y|X) 所以可得消息在有扰离散信道上的信息传输速率R在数值上等于平均互信息量，即