信息论--傅祖芸3.ppt

第一节 信道的数学模型及分类 3、单符号离散信道的数学模型 单符号离散信道的输入变量为X，取值于 输出变量为Y，取值于 。 并有条件概率 条件概率被称为信道的传递概率或转移概率。 一般简单的单符号离散信道的数学模型可以用概率空间[X,p(y|x),Y]来描述。 X Y 第四节 信道容量及其一般计算方法 下面我们来计算对称离散信道的信道容量 I(X;Y)=H(Y)-H(Y/X) 而 H(Y/X=x)是对矩阵的行求和，而由于对称信道定义，我们知道，此值是一个与x无关的一个常数，即 因此 可以看出，当输出等概分布时，即H(Y)=logs时信道容量达到。 第四节 信道容量及其一般计算方法 那么，在什么样的信源输出情况下，信道输出能等概分布呢？可以证明，输入等概分布时，输出也等概分布 可以看出，信道的输出也是等概分布的 第四节 信道容量及其一般计算方法 例： 对于二元对称信道 这个式子很重要。 第四节 信道容量及其一般计算方法 例：对于强对称信道，其信道容量为： 第四节 信道容量及其一般计算方法 3、准对称信道的信道容量： 若信道的列可以划分成若干个互不相交的子集，每一个子集都是对称信道，则称该信道为准对称信道，如： 可划分为： 第四节 信道容量及其一般计算方法 有如： 可分成： 第四节 信道容量及其一般计算方法 可以证明达到信道容量的输入分布是等概分布，也可计算准对称信道的信道容量为： 其中r是输入符号集的个数， 为矩阵中的行元素 是第k各矩阵中的行元素只和， 是第k个矩阵的列元素之和 第四节 信道容量及其一般计算方法 例： 可分成： * * 第三章 离散信道及其信道容量 第一节 信道的数学模型及分类 第二节 平均互信息 第三节 平均互信息的特性 第四节 信道容量及其一般计算方法 第五节 离散无记忆扩展信道及其信道容量 第六节 信源与信道的匹配 第一节 信道的数学模型及分类 1、信道的分类： 根据信道用户的多少，可分为： （1）单用户信道：只有一个输入端和一个输出端 （2）多用户信道：至少有一端有两个以上的用户，双向通信 根据输入端和输出端的关联： （1）无反馈信道 （2）有反馈信道 第一节 信道的数学模型及分类 根据信道参数与时间的关系： （1）固定参数信道 （2）时变参数信道 根据输入输出信号的特点 （1）离散信道 （2）连续信道 （3）半离散半连续信道： （4）波形信道 以下我们只研究无反馈、固定参数的单用户离散信道。 第一节 信道的数学模型及分类 P(y/X) X Y 根据这一模型，可对信道分类如下： 设离散信道的输入为一个随机变量X，相应的输出的随机变量为Y，如图所示： 规定一个离散信道应有三个参数： 输入符号集：X={x1，x2，…， } 输出符号集：Y={y1，y2，…， } 信道转移概率：P(Y/X)={p(y1/x1),p(y2/x1),…p( /x1),……p(y1/ )…p( / )} 2、离散信道的数学模型 第一节 信道的数学模型及分类 （1）无干扰信道：输入信号与输出信号 有一一对应关系 （2）有干扰无记忆信道：输入与输出无一一对应关系， 输出只与当前输入有关； （3）有干扰有记忆信道：这是最一般的信道。 第一节 信道的数学模型及分类 p(ym/xn) … p(y2/xn) p(y1/xn) xn … … … … … p(ym/x2) … p(y2/x2) p(y1/x2) x2 p(ym/x1) … p(y2/x1) p(y1/x1) x1 ym … y2 y1 [P]= 表示成矩阵形式： 第一节 信道的数学模型及分类 [例1] 二元对称信道（BSC） X={0,1}; Y={0,1}; p(0/0)=p(1/1)=1-p; p(0/1)=p(1/0)=p; 1-p p 1 p 1-p 0 1 0 [P]= 0 1-p 0 p p 1 1-p 1 第一节 信道的数学模型及分类 [例2] 二元删除信道 X={0,1}; Y={0,2,1} 1-p p 0 1 0 p 1 － p 0 1 2 0 [P]= 0 1-p 0 p p 1