信息论基础2课件.ppt

1.3 离散信道 1.3.1离散信道数学模型 1.3.2信息在信道中的传输特性 1.3.3平均互信息的性质 1.3.4信道容量 参考文献 1.傅祖芸：信息论—基础理论与应用 电子工业出版社（2001年8月第一版） 2.傅祖芸：信息理论与与编码学习辅导及精选题解 电子工业出版社（2004年7月第一版） 3.吴伟陵：信息处理与编码 人民邮电出版社（1999年7月第一版） 4.曹雪虹：信息论与编码 北京邮电大学出版社 (2001年8月第一版) （1）广义信道模型 （2）符号映射模型 A. 二元对称信道(BSC， Binary symmetric Channel) 0和1在信道中的地位对等，p为错传概率。 B.二元删除信道(BEC， Binary Erasure Channel) 接收端为三电平码， b3为删除码。 本节的主要内容 连续信源的数字化 连续信源的信息熵 波形信道 Shannon公式 信息熵代表信源发信的不确定度，连续信源取值无穷多，其信息熵无穷大是合理的。 求熵差时两个无穷大互相抵消，并不影响信息量的大小 定义连续信源的相对熵为： 1、峰值功率受限条件下的信源最大熵： 峰值功率受限等价于信号幅度（即随机变量的取值）受限。 可以证明：若输出波幅度限定在[a,b]之内，则均匀分布的连续信源具有最大熵，熵值为hmax(X)=log (b-a)； 进而推知，当随机向量幅度受限时，只有各分量统计独立且均匀分布时，信源具有最大熵。 对均值为零的信号而言，平均功率受限等价于方差受限。 可以证明：当输出波方差为有限值时，正态分布的连续信源具有最大熵，熵值为； 先考虑传输单个随机变量的高斯加性信道。输入、输出信道的随机变量为X和Y。 高斯信道指混入信道中的噪声的概率密度分布呈高斯型，加性信道指噪声n与输入变量X的关系是统计无关的相加关系：Y = X + n 因联合概率密度：p(xy)=p(xn)=p(x)p(n) 故信道传输概率：p(y|x)=p(xy)/p(x)=p(n) 所以： 互信息：I(X;Y)=h(Y)-h(Y|X)= h(Y)- h(n) 信道容量： C = max [h(Y)- h(n)] 实际通信系统中，大量存在的热噪声和环境噪声都具有高斯白噪声的特点，设它的平均功率为Pn，则； 1.4.4 香农公式及其意义 当抽样频率为2F时，注意N=2FT就有： C= FT log (1+ PX /Pn ) 香农公式，适用于高斯加性信道。但是它也可作为非高斯加性信道的信道容量下限值。 一般认为，最高频率就是带宽，取单位时间的最大净信息为信道容量，香农公式也常写为： C= B log(1+ PX /Pn ) 由公式可见，信道容量的大小与带宽B和信噪比PX /Pn 有关，它随着带宽的增大和信噪比的增大而变大。 但是因为噪声功率Pn =n0B，式中n0为噪声的功率谱密度，所以随着带宽的增大，噪声功率会变大，信噪比随之减小，又会使信道容量变小。 综合起来分析，如果把香农公式写为： C= B log(1+ PX /n0B) ，并令x= PX /(n0 B)， 则： 当B→∞时，x→0，(1+x) 1/ x→e，于是： 香农公式给出了带宽F、时间T、和信噪比PX /Pn三者之间的制约关系。 对于给定的信道（即信道容量不变）的情况下，可以牺牲一些通信效率，用扩展带宽（如CDMA)或延长时间(如积累法接收弱信号）的办法赢得信噪比（通信的质量）的改善； 也可以牺牲一些信噪比来换取更高的信道传输率。（如IP电话以及可视电话） 根据中值定理，在该台阶 内总有一点xi能使: Pi= p(xi)·? 于是离散分布的量化值的信息熵为： 样本落在第i个量化台阶 的概率： 0 a b p(x) x △ Pi 当M→ ∞时?→0，求和就变成了积分: 抽样定理指出，对于频率有限的连续信号，只要抽样频率不小于信号最高频率F的两倍，就能无失真地恢复原信号。 如果信号存在的时间为T，那么抽样信号就是一个具有N=2FT个样值的离散时间函数。 从信息角度看，它就是长度为N的随机符号序列。 如果各个样值彼此无关，则序列的信息熵等于： 如果各个样值相互关联（有记忆信源），则序列的信息熵： （2）从单个样本到序列的推广： [例1]一维连续信号x(t)在[a,b]区间均匀分布，其概率密度函数为： 求相对