信息基础与编码理论 第五章.ppt

信息论与编码Information Theory Coding 第五章????? 离散信道及信道编码 信道是信号从信源传送到信宿的通路。 由于信道有干扰，使得传送的数据流(码流)中产生误码。 误码的处理技术有纠错、交织、线性内插等。 信道编码的目的是提高信息传输或通信的可靠性。 信道编码的任务是降低误码率，使系统具有一定的纠错能力和抗干扰能力，提高数据传输效率。 信道编码的过程是在源数据码流中加插一些码元，达到在接收端进行检错和纠错的目的。 在带宽固定的信道中，总的传送码率是固定的，由于信道编码增加了数据量，其结果只能是以降低传送有用信息码率为代价了。 5.1 信道分类 1) 狭义信道(物理信道) 有线信道: 电缆光纤 无线信道: 中短波、微波 2) 广义信道(数学模型信道) 调制信道: 恒参数信道、变参数信道 编码信道: 有记忆信道、无有记忆信道 3) 按信道的信号分类 离散信道、连续信道、半离散信道、波形信道 4) 按信道的用户数量分类 单用户信道: 多用户信道: 电话、广播、电视、卫星、计算机网 5.2 信道模型 如果信道的转移概率矩阵每一行只有一个“1” , 其余元 素为“0” , 则该信道无扰离散信道. 反之 , 转移概率矩阵一 行中有一个以上的元素不为“0” , 则该信道有扰离散信道. y1 x1 y2 x2 y3 … … xn ym 离散无记忆信道DMC 2) 准对称信道 定义1:如果信道转移概率矩阵P中，每一行元素都是另一行相同元素的不同排列，则称该信道关于行（输入)对称。 定义2:如果信道转移概率矩阵P中，每一列元素都是另一列相同元素的不同排列，则称该信道关于列（输出）对称。 定义3:如果信道转移概率矩阵P 可按输出符号集Y分成几个子集（子矩阵），而每一子集关于行、列都对称，称此信道为准对称信道。 3) 二进制离散信道（BSC：Binary Symmetric Channal ） 二进制离散信道是DMC的特例,一种准对称信道 输入符号集 X ={ 0 , 1 }, 输出符号集 Y ={ 0 , 1 } 1-p1 转移概率矩阵 0 0 p2 p1 1 1 1-p2 当p1=p2时, 为二进制对称信道(BSC 的特例) 5.3 信道消息传输速率 (1)定义:消息在信道传输过程中，单位时间内所传输的信息量,为消息在信道中的信息传输速率(信息率),表示为R。 (2)量纲: a)当时间单位为码元等时: bit/码元 或(bit/符 号;bit/符号序列); b)当时间单位为秒: bit/s (或bps), 信息率记为Rt。 (3)计算式 a)信道有扰 信息传输率R为单位时间在信道上传输的信息量(取单位时间为一个符号的时间) ,则 R=I(X;Y)。 R=I(X;Y) =H(X)-H(X|Y) =H(Y)-H(Y|X) =H(X)+H(Y)-H(XY) (bit/符号时间) b)信道无扰 H(X|Y)=0,则 R=I(X;Y)=H(X),即信道速率等于信源速率. 若取码元时间为单位,则 Rt=H(X)/b 或 Rt=H(X)/b (bit/秒) 其中,b为码元所持续的时间. 5.4 信道容量 定义: 在不失真传输条件下,信道所允许的最大信息传输速率。 1) DMC信道的容量