第四章-信道(1-1)讲述.ppt

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 对称有扰离散信道性质： 对称信道的条件熵H(Y|X)与信道输入消息的概率分布{P1， P2，…，Pi，…，PM}无关，且有H(Y|X)＝H(Y|xi)。 证明：在给定一个xi条件下的条件熵H(Y|xi)为 条件熵H(Y|X)为 因为对称信道的信道矩阵上各行所包含元素相同，则在不同xi条件下的H(Y|xi)都相等，为恒值。 所以条件熵H(Y|X)可写成： ②传输K重符号序列消息的有扰离散信道的统计特性 设信道输入K重符号序列消息为(α1，α2，…，αi，…，αK),输出的K重符号序列消息为(β1，β2，…，βj，…，βK)。 其中：αi可在包含有M个不同符号的集合X中任意选择，βj可在包含有L个不同符号的集合Y中任意选择。 设信源XK发出不同符号序列消息的数目为R，则有 R＝ MK 同理，设信宿YK包含不同符号序列消息的数目为Q，有 Q＝ LK 信道输入符号序列消息(α1，α2，…，αi，…，αK)还可以 用一个K维的信道输入随机矢量u表示 u＝ (α1，α2，…，αi，…，αK) 同理，可用一个K维的输出矢量v表示输出符号序列消息 v＝ (β1，β2，…，βj，…，βK) 传输K重符号序列消息的有扰离散信道的统计特性可用信道传输概率PK(v|u)构成的信道矩阵П来描述 信道按照有无记忆能力分类，可分为无记忆信道和有记忆信道.有记忆信道又可根据信道记忆的长度分为有限记忆信道和无限记忆信道。 有限记忆信道的信道传输概率PK(v|u)为 PK(v|u)＝PK((β1 ,β2 ,… ,βj ,… ,βK)|(α1 ,α2 ,… ,αi ,… ,αK)) ＝P1(β1 |α1)· P2(β2 |α1 , α2 )· … ·Pk(βk |α1 , α2 , … , αK) 无记忆离散信道的信道传输概率PK(v|u)为 PK(v|u)＝PK((β1 ,β2 ,… ,βj ,… ,βK)|(α1 ,α2 ,… ,αi ,… ,αK)) ＝P1(β1 |α1)· P1(β2 |α2 )· … ·P1(βk |αK) ＝ 4.3.2 消息在有扰离散信道上的信息传输速率 ①信源发出单个符号消息 在一个符号时间内，信源X发出的平均信息量为H(X)，由于存在干扰和噪声，损失掉的平均信息量为疑义度H(X|Y)，所以在一个符号时间内信道上传输的信息量为平均互信息量I(X；Y)，即 I(X；Y)＝H(X)－H(X|Y) 或 I(X；Y)＝H(Y)－H(Y|X) 消息在有扰离散信道上的信息传输速率R在数值上等于平均互信息量，即 R ＝ I(X；Y)＝H(X)－H(X|Y) ＝H(Y)－H(Y|X) bit 物理意义 1. I(X;Y)= H(X) – H(X/Y) (1) H(X)——信源熵：X的不确定度 H(X/Y)——已知Y时，X仍剩余的不确定度(疑义度） [结论] I(X;Y) ——“Y已知”，X的不确定度的减少量, 即获得了I(X;Y) 的信息量 (2) H(X)——信源含有的平均信息量(总，有用) I(X;Y)——信宿收到的平均信息量(有用部分) [结论] H(X/Y)—因信道有扰而丢失的平均信息量，故称损失熵 2. I(Y;X)= H(Y) – H(Y/X)= I(X;Y) (1) H(Y)——信宿的平均信息量 I(X;Y)——信道传输的平均信息量 [结论] H(Y/X)——因信道有扰而产生的假平均信息量，称噪声熵、散布度、扩散度 (2) H(Y)——Y的先验不定度 H(Y/X)——发出X后，关于Y的后验不定度 [结论] I(Y;X)——发X前后，Y不定度的减少量 3. I(X;Y) = H(X) + H(Y) – H(XY) H(X) +H(Y)——通信前，整个系统的先验不定度 H(XY)—— 通信后，整个系统仍剩的不定度 I(X;Y)—— 通信前后，整个系统不确定度的减少量，即传输的互信息 [结论] I(X;Y)——平均每传送一个信源符号时， 流经信道的平均(有用)信息量 H(X) I(X