信息论与编码2016(第4章)讲述.ppt

§4.5 信道的组合 定义4.5.2（p106）单位时间内可随机选用信道1和信道2中的一个，选用信道1的概率为p1，选用信道2的概率为p2， p1+p2=1 信道的输入事件为全体{x}∪{u}，其中{x}与{u}不相交；共有K+N个输入事件； 信道的输出事件为全体{y}∪{v}，其中{y}与{v}不相交；共有J+M个输出事件； 信道的转移概率矩阵为 则称该信道为信道1与信道2的和信道。 §4.5 信道的组合 定理4.5.2（p106） §4.5 信道的组合 证明： §4.5 信道的组合 §4.5 信道的组合 §4.5 信道的组合 定义4.5.3（p106） 构造一个信道，使得 该信道的输入是信道1的输入； 信道1的输出再输入信道2； 信道2的输出就是该信道的输出。 则称该信道为信道1与信道2的级连信道（串联信道）。 请注意：此时 信道1的输出事件全体恰好是信道2的输入事件全体，即 {y}={u}，J=N。 §4.5 信道的组合 注： （1）级连信道的转移概率矩阵为 [p(v|x)]K×M=[p1(y|x)]K×J [p2(v|y)]J×M， 即 §4.5 信道的组合 例 设信道1的转移概率矩阵为 其中0p1。则 （1）信道1的最佳输入分布是等概分布，信道容量为 §4.5 信道的组合 （2）将信道1自级连N次，级连信道的转移概率矩阵为 级连信道的信道容量为 §4.5 信道的组合 （3）令自级连的次数N→+∞，则级连信道的转移概率矩阵趋向于 信道容量趋向于0。 §4.6 时间离散的无记忆连续信道 定义 设 信道的输入为随机变量序列X1, X2, X3, …，其中每个随机变量Xu都是连续型的随机变量。 信道的输出为随机变量序列Y1, Y2, Y3, …，其中每个随机变量Yu都是连续型的随机变量。 转移概率密度 f((Y1 Y2…YN)= (y1y2…yN)| (X1 X2…XN)=(x1x2…xN)) =f(Y1=y1|X1=x1)f(Y2=y2|X2=x2)…f(YN=yN|XN=xN)， 则称该信道为时间离散的无记忆连续信道。 如果进一步有f(Yn=y|Xn=x)=f(Ym=y|Xm=x), 则称该信道为平稳的（恒参的）时间离散的无记忆连续信道。 §4.6 时间离散的无记忆连续信道 设平稳的（恒参的）时间离散的无记忆连续信道，其一元转移概率密度为fY|X(y|x)。设一元输入概率密度为fX(x)。因此一元输出概率密度为如下的fY(y)，输入、输出平均互信息量为如下的I(X;Y) 。 §4.6 时间离散的无记忆连续信道 一、可加噪声信道 定义4.6.1（p108） 设平稳的（恒参的）时间离散的无记忆连续信道为： 输入随机变量为X；噪声随机变量为Z；X与Z相互独立；输出随机变量为Y=X+Z。 则称该信道为可加噪声信道。 注：此时 fY|X(y|x)=f(Y=y|X=x)=f(X+Z=y|X=x)=f(x+Z=y|X=x) =f(Z=y-x|X=x)=f(Z=y-x)=fZ(y-x)； f (X, Y)(x, y)=fX(x)fY|X(y|x)=fX(x)fZ(y-x)； §4.6 时间离散的无记忆连续信道 作变元替换，令z=y-x §4.6 时间离散的无记忆连续信道 例4.6.1（p108） 高斯可加噪声信道， 当信道干扰给定时，若输入功率不受限制，I(X;Y)可为任意大 均值为零的正态分布其方差为该信号的平均功率 §4.6 时间离散的无记忆连续信道 二、平均功率受限的可加噪声信道 定义（p109的变形） 对于可加噪声信道，限定：其信号功率不超过S，其噪声功率等于σ2，此时信噪比不超过(S/σ2)。在此限定之下，输入、输出平均互信息量的最大值C称为平均功率受限的信道容量。 §4.6 时间离散的无记忆连续信道 定理4.6.1（p109） 设可加噪声信道，限定：其信号功率不超过S，其噪声功率为σ2，此时信噪比不超过(S/σ2)。则 （1）平均功率受限的信道容量为 （2）当且仅当信道为高斯可加噪声信道（X~N(λ,S)， Z~N(μ,σ2)）时，输入、输出平均互信息量达到该C。 §4.7 波形信道 定义4.7.1（p112） 信道的输入是一般的随机过程{X(t), t≥0}；信道的输出是一般的随机过程{Y(t), t≥0}。称此信道为波形信道（waveform channel） 。 定义4.7.2（p112） 信道的输入是一个随机过程{X(t), t≥0}； 信道的噪声是一个随机过程{Z(t), t≥0}； 两个随机过程{X(t), t≥0}与{Z(t), t≥0}相互独立； 信道的输出是