第三章 信道模型和信道容量.ppt

3.1信道模型与信道分类 离散信道：输入和输出的随机序列取值都 是离散的。 连续信道：输入和输出的随机序列取值都 是连续的。 半离散或半连续信道：一端序列取值是离 散的一端序列取值是连续的。 波形信道：输入输出都是时间上连续 的随机信号X(t),Y(t). a1 b1 a2 b2 ar bs 概念 ——信道传递概率——前向概率 (c) Z型信道 3.3 概率的计算问题 利用上述转移矩阵,可以用来计算相应的概率, 设输入概率和输出概率分别为: 3.2 平均互信息及平均条件互信息 信道疑义度 3、条件熵——信息疑义度——H（X|Y） 平均互信息 1、定义式——平均互信息 3.4 信道的疑义度、散布度和平均互信息量 I(X;Y)=H(X)－H(X|Y)=H(Y)－H(Y|X) 下面讨论上式的物理意义,并引入一些重要的基本概念。 3.4.1 信道疑义度 由公式 I(X;Y)=H(X)－H(X|Y) 可知,从输出Y中所获得的关于输入X平均信息量 I(X;Y),等于先验平均不确定性H(X)减去X的后验 不确定性H(X|Y),也就则X的平均不确定性的减少 量。 例BSC信道如图, rs=1000符号/秒,错误传递概率p=0.1 求:信道容量 3.6 扩展信道的信道容量 3.6.1 扩展信道的数学模型 下图表示N次扩展信道的模型,其输入输出均为N 元随机变量序列: X=X1X2···XN Y=Y1Y2···YN Xk:[a1,a2,···ar] Yk:[b1,b2,···bs] 噪声干扰 如果对离散单符号信道进行N次扩展，就形成了N次离散无记忆序列信道。 3.7 信道的组合 3.7.1 串联信道 3.8 信源与信道的匹配 (1)符号匹配 信源输出的符号必须是信道能够传送的符号; (2)信息匹配 信源与信道匹配的程度可用信道剩余度来衡量,它的定义为: 信道绝对剩余度=C－I(X;Y) 信道相对剩余度={[C－I(X;Y)]/C}×100% 3.9 连续信道及其信道容量 3.9.1 连续信道的数学模型 最基本的连续信道是单维连续信道,它的输入X、输出Y和噪声Z都是取值于整个实数域R的一维连续型随机变量: 3.10 波形信道及其信道容量 例： 有一信道矩阵 ，求C. 1）采用上述方法求出信道容量以后，还必须解出 ，因为在采用拉格朗日数乘法时并没有加上 的约束条件，因此算出的 可能是负值。 当计算结果为负值时，此解无效。它表明最大值在边界上，即某些输入符号的概率为0。设某些输入符号的概率为0，然后重新进行计算。 2）如果r=2，则可以直接对I(X;Y)求导，得到信道容量和最佳输入分布。 补充： 例： 已知信道的转移矩阵为 ，求信道容量。 解：设输入概率分布 0.2log(0.3+0.2 )-0.2+0.2log(0.5-0.2 )+0.2=0 ? 0 Y 0.9 ? 1 0.1 输入符号等概时有最大信息传输速率 信道实际信息传输速率 例：信道及它的输入、输出如图所示： （1）??? 求最佳输入分布。 （2）??? 求 时的信道容量。 3.5.4 一般DMC达到信道容量的条件 定理3.5(Kuhn-Tucker)设f(x)是定义在所有分量均非负的n维空间上的上凸函数,其中x=(x1,x2,…xn),假定f(x)的一阶偏导数都存在,且在定义的空间上连续,则 定理3.6