Chap3-电信13讲解.ppt

信道与信道容量;3.1 信道分类和表示参数 3.2 离散单个符号信道及其容量 3.3 离散序列信道及其容量;3.1 信道分类和表示参数;信道;（1）按其输入/输出信号在幅度和时间上的取值是离散或连续来划分 ;信道分类;信道分类;3.1.2 信道参数;无干扰(无噪声)信道;有干扰无记忆信道;二进制离散信道;离散无记忆信道DMC;P:转移概率矩阵 已知X,信道输出Y表现出来的统计特性 完全描述了信道的统计特性,其中有些概率是信道干扰引起的错误概率,有些是正确传输的概率;3.2 离散单个符号信道及其容量;信道的输入、输出都取值于离散符号集，且都用一个随机变量来表示的信道。 设离散单符号信道的输入随机变量为 ，输出随机变量为 ，由于信道中存在干扰，因此输入符号在传输中将会产生错误，这种信道干扰对传输的影响可用转移概率 来描述： ;为了表述简便，常常写成;一般离散单符号信道的概率关系： （1）输入输出随机变量的联合概率分布为 则有 其中 是信道转移概率，即输入为 ，通过信道传输输出 的概率，通常称为前向概率。它是由于信道噪声引起的，所以通常用它描述信道噪声的特性。而 是已知信道输出符号 ，输入符号为 的概率，称为后向概率。有时把 称为输入符号的先验概率。而对应的把 称为输入符号的后验概率。;（2）由全概率公式，可从先验概率和信道转移概率求输出符号的概率： ; 平均互信息 是接收到输出符号集 后所获得的关于输入符号集 的信息量。 信宿所消除的关于信源的不确定性，也就是获得的关于信源的信息为 ，它是平均意义上每传送一个符号流经信道的信息量，从这个意义上来说，平均互信息又称为信道的信息传输率，通常用 表示。即 ;信道容量 ;信道容量;信道容量的计算 ;3.2.1 无干扰离散信道;无干扰离散信道;无干扰离散信道;无干扰离散信道;无干扰离散信道;无干扰离散信道;无干扰离散信道;无干扰离散信道;对称离散无记忆信道： 对称性: 每一行都是由同一集合{q1, q2,…qm}的诸元素不同排列组成——输入对称 每一列都是由{p1, p2,…pn}集的诸元素不同排列组成——输出对称;对称DMC信道;对称DMC信道;对称DMC信道;例 某对称离散信道的信道矩阵为 ;对称DMC信道;设二进制对称信道的输入概率空间 信道矩阵：;38;当p固定时,I (X,Y) 是ω的 型上凸函数。;当固定信源的概率分布ω时,I (X,Y) 是p的 型 下凸函数。;定理： 平均互信息I (X;Y)是信道传递概率p(bj|ai)的 型下凸函数。;当信源输入符号的速率为rs(符/秒),信道容量;例BSC信道如图, rs=1000符号/秒,错误传递概率p=0.1 求:信道容量;串联（级联）信道是信道最基本的组合形式，许多实际信道都可以看成是其组成信道的级联。;串联信道;串联信道;串联信道;3.2.3 准对称DMC信道 ;准对称信道的信道容量 ;准对称信道的信道容量 ;例：设信道传递矩阵为 ; 通过计算可得平均互信息的极大值 ，即;因为;令; 1．信道矩阵为可逆矩阵，采用解方程组的方法。 在一般信道的信道容量的推导中我们推出了下式： ;则;（1）由 列方程组求出 ；;例：求如下信道的信道容量： ;2．当输入概率分布只有一个变量时，例如r=2，可以设输入概率分布为 和 ，因此输入概率分布只有一个变量，这时我们可以直接对 求导求出，从而得出 的极大值C。;3.2.5 信道容量定理 ;平均互信息对输入概率分布求偏导：;信道容量定理：平均互信息 取到极大值也就是信道容量时，对于任意 ，只要它出现的概率大于0， 都相等。 ;信道容量定理只给出了达到信道容量时，最佳输入概率分布应满足的条件，并没