信道及信道容量.pptVIP

二、多维无记忆高斯加性连续信道及其容量回顾等价于L个独立并联加性信道3、信道容量(1)每个时刻的噪声相同(均值为零,方差为δ2)当输入矢量的各个分量Xl相互独立，且各分量均值为0方差都为Pl=S时，据3.3节定理，无记忆信道有下式成立：而每个单符号高斯信道有：所以：传递矩阵也完全确定了输入与输出间的统计依赖关系，也是信道的数学模型。离散无记忆信道(DMC-DiscreteMemorylessChannel)仍是单符号离散信道，符号集中的符号数目大于2。复习与作业讲评1、符号的使用：自信息量I熵-----HH2不能随便使用7、向孔祥品学习2、应画出信源（模型）3、2.4题，求H(X)，而非I(x)4、2.5题，求自信息量或条件信息量。个别同学H(y|x)5、2.11(2)有些同学计算H(X,Y)太复杂。xi---颜色，构成信源X,yi----数字，构成信源Y.每个数字对应一种颜色（反之未必），数字已知，则颜色确定，H(X|Y)=0。H(X,Y)=H(Y)=…..6、2.21（3）信号放大问题。课上已经强调过，仍出错。复习：第四节连续信源的熵和互信息一、单符号连续信源的熵相对熵（差熵）I(X;Y)＝I(Y;X)＝Hc(X)-Hc(X|Y)＝Hc(X)＋Hc(Y)-Hc(XY)＝Hc(Y)-Hc(Y|X)Hc(XY)＝Hc(X)＋Hc(Y|X)＝Hc(Y)＋Hc(X|Y)二、波形信源的熵理解讨论方法即可三、连续信源最大熵定理峰值功率受限的最大熵定理对于定义域为有限的随机变量X，当它是均匀分布时，其熵最大。限平均功率最大熵定理服从正态分布时具有最大相熵。第五节冗余度一、冗余度的概念表示给定信源在实际发出消息时所包含的多余信息。二、冗余度产生的原因理解一是信源符号间的相关性，二是信源符号分布的不均匀性三、冗余的定义四、冗余的压缩第三章信道及信道容量第一节信道分类及表示参数参数：表示输入和输出统计依赖关系的转移概率。对于单符号信道，即,对于符号序列信道，即。根据信道的参数，将信道分为三大类：1、无干扰信道有干扰无记忆信道GOON根据输入信号与输出信号的符号数目进一步划分为以下四种信道：二进制离散信道(又叫二进制对称信道BSC，转移概率对称)离散无记忆信道(DMC-DiscreteMemorylessChannel)仍是单符号离散信道，符号集中的符号数目大于2。(3)离散输入连续输出信道仍是单符号信道，属于半连续半离散信道。举例：加性高斯白噪声(AWGN)信道(AddableWhiteGossNoise)经过限时(tB)和限频(fm)后，经过抽样输入和输出信号分别变换成连续型随机序列：和抽样点数为L=2fmtB，相应地,波形信道被分解成L维连续信道,其转移特性为：(4)波形信道输入信号和输出信号用随机过程表示，所以信道模型为:结论：信道的转移概率密度函数等于噪声的概率密度函数。条件熵H(Y|X)又叫做噪声熵的进一步理解：确定噪声所需要的平均信息量就是H(Y|X),叫作噪声熵。正像区分X中的每个符号所需要的平均信息量就是信源的熵H(X).因而又叫噪声熵。可以看作是唯一地确定信道中的噪声所需要的平均信息量。正是噪声熵3、有干扰有记忆信道有两种简化处理的方法：(1)将记忆很强的L个符号用一个矢量符号表示(看作一个符号)，各个矢量符号之间认为是无记忆的.L越大,引入误差与小。(2)将序列转移概率看作是马尔科夫链的状态转移概率，用马尔科夫链的分析方法去处理。4、本课程主要讨论编码和解码，一般使用DMC信道模型到底选用哪种信道模型，取决于分析问题的目的。若设计和分析离散信道的编码和解码，当然选择DMC信道模型。如果分析性能的理论极限，则使用离散输入连续输出模型则较合适。如果分析和设计调制/解调器，则选择波形信道模型。第二节离散单符号信道及其容量一、几个概念：1、信息传输率R信道中平均每个符号所传输的信息量。R=I(X;Y)=H(X)-H(X|Y)bit/符号2、信息传输速率Rt信道在单位时间内平均传输的信息量。设信道传送一个符号用时为T，则：Rt=I(X;Y)/T