信息论与编码-第四课.ppt

信息论与编码-信道与信道容量 本章主要讨论以下几个方面的问题 信道分类和表示参数 离散单个符号信道及其容量 离散序列信道及其容量 连续信道及其容量 信息论与编码-信道与信道容量 由于一般信道中总是存在噪声和干扰，在这样的信道中进行信息传输会造成损失。那么在有噪信道中怎么能够使消息通过传输后发生的错误最少？在有噪信道中无错误传输可以达到的最大信息率是多少？这就是本章研究的内容。 信息论与编码-信道与信道容量 信道分类和表示参数 通信系统中，信道是非常重要的部分。信道的任务是以信号方式传输信息。在信道中会引入噪声，这些都会使信号通过信道后产生错误和失真，故信道的输入和输出之间一般不是确定的函数关系，而是统计依赖关系。 只要知到了信道的输入信号和输出信号以及它们之间的统计依赖关系，则信道的全部特性就确定了。所以可以用信道的转移概率矩阵P(Y/X)来描述信道、信道的数学模型及分类 研究信道，就要研究信道中能够传送的最大信息量，即信道容量问题。 信息论与编码-信道与信道容量 信道的分类：从不同的角度，有不同的分类方法。 根据信道的参数是否随时间变化，可以分为： （1）固定参数信道：信道的参数不随时间变化； （2）时变参数信道：信道的参数随时间变化。 根据输入和输出信号的特点，可以分为： （1）离散信道：信道的输入和输出的随机序列取值都是离散的； （2）连续信道：信道的输入和输出的随机序列的取值都是连续的； 信息论与编码-信道与信道容量 （3）半离散或半连续信道：输入序列是离散的但相应的输出序列是连续的，或者反过来； （4）波形信道：信道的输入输出不但取值是连续的，而且还随时间连续变化。一般可用随机过程来描述其输入输出。由于实际信道的带宽总是有限的，所以输入信号和输出信号总可以分解成时间离散的随机序列。序列的取值可以是连续的，也可以是离散的，因此，波形信道可以分解成连续信道或离散信道或半离散半连续信道。 信息论与编码-信道与信道容量 信道参数 设信道的输入矢量和输出矢量分别是 通常采用条件概率 来描述信道输入输出信号之间统计的依赖关系。 该条件概率通常称为转移概率 信息论与编码-信道与信道容量 根据信道是否存在干扰以及有无记忆，可将信道分为下面三类 无干扰信道：信道的输出符号Y与输入符号X之间又确定的关系Y=f(X),已知X后就确知Y。 有干扰无记忆信道：信道的输出符号Y与输入符号X之间没有确定的关系，但转移概率满足 即每个输出符号只与当前输入符号之间有概率转移关系。 在这种情况下，只需分析单个符号的转移概率即可 信息论与编码-信道与信道容量 有干扰有记忆信道： 一般情况都是如此，常用的方法有两种 将记忆很强的L个符号当矢量符号，各矢量符号之间是无记忆的，但此事会引入误差，L越大，误差越小 将转移概率看成马尔科夫链的形式，记忆有限，信道的统计特性可用在已知现在时刻输入符号和前信道所处的状态的条件概率来描述，这种处理方法比较复杂，通常取一阶时稍简单 信息论与编码-信道与信道容量 下面我们讨论几种常用信道。 （1）二进制离散信道 二进制离散信道的输入值集合是{0，1}，输出值集合也是{0，1}，再加上一组描述信道统计特性的转移概率，就可以完全确定信道。 二进制离散信道的一个特例：二进制对称信道（BSC-Binary Symmetric Channel）。如果描述二进制离散信道的转移概率对称，即 则称这种二进制输入、二进制输出的信道为二进制对称信道。 信息论与编码-信道与信道容量 如图所示。 BSC信道是无记忆信道。 BSC信道是研究二元编解码最简单也是最常用的信道模型。 信息论与编码-信道与信道容量 （2）离散无记忆信道 设信道的输入符号集合是 ， 输出符号集合是 再加上一组（mn个）转移概率 这样的一种信道称为离散无记忆信道 （DMC:Discrete Memoryless Channel）。 信息论与编码-信道与信道容量 信息论与编码-信道与信道容量 图示 信息论与编码-信道与信道容量 （3）离散输入、连续输出信道 信道输入符号选自一个有限离散的符号集合 信道输出时未经量化的任意值，即 m-∞ 信道特性由转移概率密度函数决定 典型信道是加性高斯白噪声信道（AWGN） 信息论与编码-信道与信道容量 （4）波形信道 输入和输出都是随机过程{x(t)}和{y(t)}，模拟系统。 对于频带受限的波形信道，可以用抽样的方法变成时间离散信道。设带宽为W，则在T时间间隔内，根据抽样定理，应该抽样至少2WT个点，分别记为输入 和输出 这样波形信道就转化为多维连续