信息理论与编码 第4章.ppt

例 二元对称离散信道 输入符号集 A ={0 , 1}, 输出符号集 B ={0 , 1}，二次扩 展信道输入序列个数 rN=22=4，输出序列个数 sN=22=4， 二次扩展信道的输入符号集为 A2 ={ 00, 01, 10, 11 } 输出符号集为 B2 ={ 00, 01, 10, 11 } 令 p(?h |?k )＝ p(yh1, yh2 |xk1, xk2 ) ＝ p(yh1 |xk1) p( yh2 | xk2 ) h, k = 1, 2, 3, 4 1 1-p 0 p p 1-p 1 0 二次扩展信道传递概率为 二次扩展信道传递矩阵为 N次扩展信道的互信息量与单符号离散信道的互信息 量的计算方法类似。 4.2.3 N 次扩展信道的互信息量 N次扩展信道的平均互信息量I(Y ; X)与单符号离散信 道的平均互信息量I(Yi ; Xi)的联系有如下定理。 定理1 若信道的输入和输出分别是N长序列X和Y，且信道 是无记忆的，即传递概率为 当信源是无记忆时，则上式等号成立 则存在 或 证明 略 定理2 若信道的输入和输出分别是N长序列X和Y，且信源 是无记忆的，即 或 则存在 当信道是无记忆时，则上式等号成立。 证明 略 根据定理1 和定理2 ，当信源和信道都是无记忆的，则 此时相当于两个独立信道并联的情况。 若信道的输入序列为 X=(X1 , X2 , … , XN )中的分量Xi 取值于信道的输入符号集 A ={ a1 , a2 , … , ar }，并且具有 同一概率分布；信道的输出序列 Y=(Y1 ,Y2 , … ,YN ) 中的分 量Yi 也取值于同一输出符号集 B ={ b1 , b2 , … , bs }，则 I(X1;Y1)＝ I(X2;Y2 ) ＝…＝ I(XN ; YN) ＝ I(X; Y ) 有 当信源是无记忆的，对于无记忆的N次扩展信道，其 平均互信息量 I(X; Y) 等于原来未扩展信道平均互信息量 I(X; Y )的N 倍。 消息较多时，可能要用多个信道并行传送，称这种信 道为积信道； 有时消息可能要依次通过几个信道串行传送，称这种 信道为级联信道或和信道。 信道Ⅰ p(y|x) 信道Ⅱ p(z|x y) Z Y X 1. 级联信道 4.4 信道的组合 信道Ⅰ：输入变量X，输入符号集 A={a1 , a2 , … , ar }； 输出变量Y，输出符号集 B ={ b1 , b2 , … , bs } 信道Ⅱ：输入变量Y，输入符号集 B={b1 , b2 , … ,bs }； 输出变量Z，输出符号集 C ={ c1 , c2 , … , ct }。 2. 级联信道中的平均互信息量 定理1 级联信道中的平均互信息量满足以下关系 I(XY ;Z) ? I(Y ;Z) I(XY ;Z) ? I(X ;Z) 等号成立的充要条件，对于所有x , y , z有 p(z|xy) = p(z|y) p(z|xy) = p(z|x) 证明 略 定理2 级联信道中的X ,Y , Z 构成一个马尔可夫链，则有 I(X ;Z) ? I(X ;Y) I(X ;Z) ? I(Y ;Z) 证明 略 数据处理定理 当消息经过多级处理(信道)后，随着处理器(信道)的增 多，输入消息与输出消息之间的平均互信息量一般趋于变 小（信息不增性）。 3.数据处理中信息的变化 例 如下级联的对称信道 二元 对称信道 二元 对称信道 Y X Z 1-p p p 1-p 1 0 1 0 p p 1 0 Y Z X 1-p 1-p 输入符号的概率空间 信道矩阵 如果 X，Y，Z 为马尔可夫链，则串连信道总的信道矩阵为： 1-p p p 1-p 1 0 1 0 p p 1 0 Y Z X 1-p 1-p 计算出： I(X ;Z) ＝1－H [2p(1-p)] 其中 ： H [ 2p(1-p)] =H(Z|X)=q log q+(1-q) log 2(1-q) 根据平均互信息量的