4--第4讲信息论课件.ppt

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 多维连续信道的平均互信息 多维连续信道的数学模型是[X，p(y|x)，Y]，其传递概率密度函数为： 多维连续信道的平均互信息为： 第五节 连续信道和波形信道的信息传输率 根据随机矢量X和Y的差熵和条件差熵的表达式可得： 以上表达式与离散信道下平均互信息的完全类，只是表达式 中概率分布函数用概率密度函数来替代，求和号用积分号来 替代。因此，离散扩展信道中平均互信息的性质在多维连续 信道中仍成立。 第五节 连续信道和波形信道的信息传输率 多维连续信道的信息传输率 （比特/N自由度） 平均每个自由度的信息传输率 （比特/自由度） 波形信道的信息传输率 波形信道输入是平稳随机过程{x(t)}，输出也是平稳随 机过程{y(t)}。一般情况，对于波形信道来说，都是研究其 单位时间内的信息传输率 第五节 连续信道和波形信道的信息传输率 连续信道平均互信息的特性 1.非负性: 2.对称性（交互性）: 因为 当X和Y统计独立时即p(x|y)=p(x),I(X;Y)=I(Y;X)=0,就不可能从一个随机变量获得关于另一个随机变量的信息。 3.凸状性: 连续变量之间的平均互信息是输入连续变量X和概率密度函数p(x)的∩型凸函数；平均互信息又是连续信道传递概率密度函数p(y|x)的U型凸函数。 第五节 连续信道和波形信道的信息传输率 第六节 连续信道和波形信道的信道容量 和离散信道一样，对于固定的连续信道和波形信道都有一个最大的信息传输率，称为信道容量。它也是信道可靠传输的最大信息传输率。对于不同的连续信道和波形信道，它们存在的噪声形式不同，信道的带宽以及信号的各种限制不同，所以具有不同的信道容量。一般的多维连续信道的信道容量为: 一般的波形信道的信道容量为: 第六节 连续信道和波形信道的信道容量 一般多维加性连续信道的信道容量为 一般加性波形信道的信道容量为 加性信道的信道容量取决于噪声的统计特性和输入随机 矢量所受的限制条件。一般的实际信道中，无论输入信 号和噪声的平均功率或能量总是有限的。 第六节 连续信道和波形信道的信道容量 单符号高斯加性信道 单符号高斯加性信道的输入和输出都是取值连续的一维随机变量，而加入信道的噪声是加性高斯噪声。 设信道迭加的噪声n是均值为零，方差为 的一维高斯噪声，噪声信源的熵为 高斯加性信道的信道容量 平均功率受限高斯信道的信道容量 只有当信道的输入信号是均值为零，平均功率为高斯分布的随机变量时，信息传输率才能达到最大值。 第六节 连续信道和波形信道的信道容量 单符号非高斯加性信道 信道的输入和输出都是取值连续的一维随机变量X和Y。信道的噪声Z时均值为零，平均功率为Pn的加性噪声。而且输入信号X的平均功率受限为Ps。这时噪声是非高斯噪声。 当且仅当噪声为高斯加性时，等号才成立。 多维无记忆高斯加性连续信道 信道输入随机序列 ，输出随机序列 第六节 连续信道和波形信道的信道容量 因为是加性信道，所以有Y=X+n，其中 是均值为 零的高斯噪声。 当且仅当输入随机矢量X中各分量统计独立，并且均值为零， 方差为不同的高斯变量时才能达到此信道容量。 高斯白噪声加性波形信道 信道的输入和输出信号是随机过程{x(t)}和{y(t)}，而加入信道的噪声是加性高斯白噪声{n(t)}（其均值为零，功率谱密度为 ，输出信号满足{y(t)}={x(t)}+{n(t)} 波形信道可以分解成N维统计独立得随机序列，每个分量均值为0，方差为 每个信号样本值的平均功率为 在[0,T]时刻内，信道的信道容量为 第六节 连续信道和波形信道的信道容量 第六节 连续信道和波形信道的信道容量 要达到这个信道容量要求输入N维随机序列X中每一分量 Xi都是均值为零，方差为Ps，彼此统计独立的高斯变量。 高斯白噪声加性信道的单位时间的信道容量 其中Ps是信号的平均功率， 为高斯白噪声在带宽W 内的平均功率。可见，信道容量与信噪功率比和带宽有关。 第六节 连续信道和波形信道的信道容量 这就是重要的香农公式。当信道输入信号是平均功率受 限的高斯白噪声信号时，信息传输率才达到此信道容量。