第四章-信道(1-1)介绍.ppt

* * * * * * * * * * * * * * * 3、 准对称DMC信道 定义：如果转移概率矩阵P使输入对称，输出不对称，即每行都包含相同的元素，各列的元素不同，则称该信道为准对称DMC信道。 准对称DMC信道的容量为： 定理：当输入消息为等概率分布时， 准对称信道达到其信道容量C。 人有了知识，就会具备各种分析能力， 明辨是非的能力。 所以我们要勤恳读书，广泛阅读， 古人说“书中自有黄金屋。 ”通过阅读科技书籍，我们能丰富知识， 培养逻辑思维能力； 通过阅读文学作品，我们能提高文学鉴赏水平， 培养文学情趣； 通过阅读报刊，我们能增长见识，扩大自己的知识面。 有许多书籍还能培养我们的道德情操， 给我们巨大的精神力量， 鼓舞我们前进。 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 如果每行元素相同，每列元素不相同，称为准对称信道。 例如： 对称有扰离散信道性质： 对称信道的条件熵H(Y|X)与信道输入消息的概率分布{P1， P2，…，Pi，…，PM}无关，且有H(Y|X)＝H(Y|xi)。 证明：在给定一个xi条件下的条件熵H(Y|xi)为 条件熵H(Y|X)为 因为对称信道的信道矩阵上各行所包含元素相同，则在不同xi条件下的H(Y|xi)都相等，为恒值。 所以条件熵H(Y|X)可写成： ②传输K重符号序列消息的有扰离散信道的统计特性 设信道输入K重符号序列消息为(α1，α2，…，αi，…，αK),输出的K重符号序列消息为(β1，β2，…，βj，…，βK)。 其中：αi可在包含有M个不同符号的集合X中任意选择，βj可在包含有L个不同符号的集合Y中任意选择。 设信源XK发出不同符号序列消息的数目为R，则有 R＝ MK 同理，设信宿YK包含不同符号序列消息的数目为Q，有 Q＝ LK 信道输入符号序列消息(α1，α2，…，αi，…，αK)还可以 用一个K维的信道输入随机矢量u表示 u＝ (α1，α2，…，αi，…，αK) 同理，可用一个K维的输出矢量v表示输出符号序列消息 v＝ (β1，β2，…，βj，…，βK) 传输K重符号序列消息的有扰离散信道的统计特性可用信道传输概率PK(v|u)构成的信道矩阵П来描述 信道按照有无记忆能力分类，可分为无记忆信道和有记忆信道.有记忆信道又可根据信道记忆的长度分为有限记忆信道和无限记忆信道。 有限记忆信道的信道传输概率PK(v|u)为 PK(v|u)＝PK((β1 ,β2 ,… ,βj ,… ,βK)|(α1 ,α2 ,… ,αi ,… ,αK)) ＝P1(β1 |α1)· P2(β2 |α1 , α2 )· … ·Pk(βk |α1 , α2 , … , αK) 无记忆离散信道的信道传输概率PK(v|u)为 PK(v|u)＝PK((β1 ,β2 ,… ,βj ,… ,βK)|(α1 ,α2 ,… ,αi ,… ,αK)) ＝P1(β1 |α1)· P1(β2 |α2 )· … ·P1(βk |αK) ＝ 4.3.2 消息在有扰离散信道上的信息传输速率 ①信源发出单个符号消息 在一个符号时间内，信源X发出的平均信息量为H(X)，由于存在干扰和噪声，损失掉的平均信息量为疑义度H(X|Y)，所以在一个符号时间内信道上传输的信息量为平均互信息量I(X；Y)，即 I(X；Y)＝H(X)－H(X|Y) 或 I(X；Y)＝H(Y)－H(Y|X) 消息在有扰离散信道上的信息传输速率R在数值上等于平均互信息量，即 R ＝ I(X；Y)＝H(X)－H(X|Y) ＝H(Y)－H(Y|X) bit 物理意义 1. I(X;Y)= H(X) – H(X/Y) (1) H(X)——信源熵：X的不确定度 H(X/Y)——已知Y时，X仍剩余的不确定度(疑义度） [结论] I(X;Y) ——“Y已知”，X的不确定度的减少量, 即获得了I(X;Y) 的信息量 (2) H(X)——信源含有的平均信息量(总，有用) I(X;Y)——信宿收到的平均信息量(有用部分) [结论] H(X/Y)—因信道有扰而丢失的平均信息量，故称损失熵 2. I(Y;X)= H(Y) – H(Y/X)= I(X;Y) (1) H(Y)——信宿的平均信息量