第12讲——信道与信道容量.ppt

信道与信道容量 第十二讲 设信道的输入X=(X1, X2 … XN), Xi ∈{0,1… K-1} 输出Y= (Y1, Y2 … YN), Yj ∈{0,1… J-1} 信道转移概率矩阵p(Y|X)： 描述输入和输出的统计依赖关系，反映信道统计关系 已知X，信道输出Y表现出来的统计特性 完全描述了信道的统计特性，其中有些概率是信道干扰引起的错误概率,有些是正确传输的概率 输入符号X取值{0,1} 输出符号Y取值{0,1} 信道转移概率 p(0|0) = 1-p p(1|1) = 1-p p(0|1) = p p(1|0) = p 输入符号X取值{0,1} 输出符号Y取值{0,1,2} 转移矩阵 无噪有损信道 多个输入变成一个输出(n＞m) * * 信道：信息传输的通道 在通信中，信道按其物理组成被分成微波信道、光纤信道、电缆信道等。信号在这些信道中传输的过程遵循不同的物理规律，通信技术必须研究信号在这些信道中传输时的特性。 信息论不研究信号在信道中传输的物理过程，而是用数学方法研究信息在信道中传输的规律。因而我们首先需要确定信道的数学模型。 信 道 输入X 输出Y p(Y|X) 信道基本概念 信 道 X Y p(Y|X) 信道数学模型 X p(Y|X) Y 按信道的输入和输出在幅度和时间上的取值 时间离散的离散信道（离散信道） 时间离散的连续信道（连续信道） 时间连续的离散信道 时间连续的连续信道（波形信道） 信道分类 按输入输出之间关系的记忆性来划分： 无记忆信道 信道的输出只与信道该时刻的输入有关,而与其它 时刻的输入无关 有无记忆信道 信道的输出不但与信道现在时刻的输入有关，而且 还与以前时刻的输入有关 信道分类 按输入输出信号之间的关系是否是确定关系 无干扰信道： 输入和输出符号之间有确定的一一对应关系 有干扰信道： 输入和输出之间关系是一种统计依存的关系 输入和输出的统计关系： 恒参信道和随参信道 对称信道和非对称信道 信道分类 离散无记忆信道 信道转移矩阵 信道转移矩阵 0 1 0 1 p p 1-p 1-p 无错误传输的概率 传输发生错误的概率 二元对称信道（BSC） 0 2 1 0 1 1-p p 1-p p 二元删除信道（BEC） p(0|0) = 1-p p(0|1) = 0 p(2|0) = p p(2|1) = p p(1|0) = 0 p(1|1) = 1-p 我们研究信道的目的是要讨论信道中平均每个符号所能传送的信息量，即信道的信息传输率 平均互信息I (X;Y) 接收到符号Y后平均每个符号获得的关于X的信息量。 每传递一个符号流经信道的信息量，即信息传输率 信道容量 信道容量 给定转移概率P后,平均互信息I(X;Y)是输入信源的概率分布p(x)的上凸函数。 离散无记忆信道的信道容量定义为 即为改变输入分布时，使每个符号所能含有的平均互信息量的最大值，相应的输入分布称为最佳分布。 信道容量C与信源无关，只是信道转移概率的函数，不同的信道就有不同的信道容量，它反映了信道本身的传信能力。 回顾 定义 输入概率矢量 达到转移概率为 的DMC的容量C的充要条件为 其中， 达到C的充要条件 在给定输入分布下，若某个输入k与所有输出事件之间的平均互信息大于其它任一输入与所有输出之间的平均互信息，我们就可以通过更经常采用这个输入k（即加大Qk）来增大。但这样做会改变每个输入与所有输出之间的平均互信息量（由概率归一性约束）。通过足够多次的调整输入概率分布，就可使每个概率不为零的输入与所有输出之间的平均互信息量任意接近。 定理与直观概念一致 是 的上凸函数，故必有最大值，由K-T条件， 为最佳分布的充要条件是 为常数 达到C的充要条件 证明： 为常数 从而充要条件为 令 ，则 对 左右两边乘以 ，并对 得到给定信道在分布 即达到了信道容量值。 下，输入和输出之间的信息量 为常数 从而充要条件为 则充要条件可写为 求和，就可以 对于一般信道,信道容量计算相当复杂,我们只讨论某些特殊类型的信道 几种特殊类型的信道 －无噪无损信道 －有噪无损信道 －无噪有损信道 －对称、准对称信道 信道容量计算 无噪无损信道 输入和输出符号之间有确定的一一对应关系 X a1 b1 Y a2