信息论离散信道及其容量.ppt

2节讨论了单个符号的信道传输情况。实际上，一般离散信道的输入和输出是一序列，因此有必要研究扩展信道。N次扩展信道与单符号信道之间的关系，类似于N次扩展信源与单符号信源之间的关系。N次扩展信道中，输入变量和输出变量均为N维的：X={X1,X2,…,XN}，Y={Y1,Y2,…,YN}，输入序列共有rN个，输出序列共有sN个，输入和输出序列分别记为αk和βh。N次扩展信道的数学模型为4.3离散无记忆扩展信道二元对称信道二次扩展信道的输入和输出：例二元无记忆对称信道的二次扩展信道。01扩展信道的传递概率：信道矩阵为：扩展信道的平均互信息：I(X;Y)=I(XN;YN)N=2,r=2,s=2，则rN=4,sN=4，输入、输出符号集{00,01,10,11}024.3.2定理定理若信道的输入和输出分别是N长序列X和Y，且信道是无记忆的，则：I(X;Y)≤∑I(Xi;Yi)定理若信道的输入和输出分别是N长序列X和Y，且信源是无记忆的，则：I(X;Y)≥∑I(Xi;Yi)当信源和信道都是无记忆的，此时I(X;Y)=∑I(Xi;Yi)当信道输入序列的每一个符号来自同一个符号集A，信道输出序列的每一个符号来自同一个符号集B，则∑I(Xi;Yi)=NI(X;Y)，即I(X;Y)=NI(X;Y)来自同一符号集：{00,01,10,11}，每一序列的两个符号均来自{0,1}来自不同符号集：{a1,a2,b1,b2}，每一序列的第一个符号来自{a,b}，第二个符号来自{1,2}组合方式并行：积信道串行：级联信道例如：Internet例如：GSM重点介绍级联信道（串联信道）4.4信道的组合假设串联的两个信道为信道I和信道II，信道I的传递概率为p(y|x)，信道II的传递概率为p(z|xy)。定理若随机变量X,Y,Z构成一个马尔可夫链（p(z|xy)=p(z|y)），则有I(X;Z)≤I(X;Y)I(X;Z)≤I(Y;Z)定理叫做数据处理定理，它的含义是通过串联信道的传输，只会丢失信息，不会增加信息，至多保持原来的消息量。这是信息不增性原理。信道Ip(y|x)信道IIp(z|xy)XYZ例4.4.1两个二元对称信道串联一个马尔可夫链，则串联信道总的信道矩阵为则I(X;Y)=1-H(p)I(X;Z)=1-H(2p(1-p))从图中能够看出I(X;Z)≤I(X;Y)01例02信道I和信道II的信道矩阵分别为03X,Y,Z构成一个马尔可夫链，则***********第4章离散信道及其容量通信系统模型信息论的研究基础是通信系统模型。信源：表示前后输出的符号之间的关联关系信道：表示传输时发生错误的情况，或者说干扰的情况不同信道是信息传输的通道。由于干扰的存在，信道的输出Y与信道的输入X不完全相同，用条件概率p(y|x)描述。而输入和输出又有各自的统计特性，分别用和表示。第3章介绍有记忆信源的时候用到了条件概率，现在又用到了条件概率，两种情况下条件概率所表达的含义相同吗？4.1信道的数学模型及其分类根据输入输出事件的时间特性离散信道：GSM连续信道：有线电视、广播根据输入输出个数两端信道（单路信道）：电话多元接入信道：信道的复用广播信道：广播根据记忆特性无记忆信道：信道的输出仅与当前的输入有关，与以前的输入无关。有记忆信道：信道的输出不仅与当前的输入有关，与以前的输入也有关系。根据统计特性恒参信道：信道的统计特性不随时间发生变化。随参信道：信道的统计特性随时间发生变化。信道的分类无损信道：输出可以决定输入，即知道了信道的输出符号，能确切判断出它对应的输入符号是什么。1确定信道：输出完全由输入决定，即输入符号一旦定下来，信道的输出是确定的。2无噪信道：既是无损信道，又是确定信道。输出能决定输入，输入也能决定输出。现实生活中很少存在这样的信道。3无用信道：输入与输出相互独立，没有任何关系。4一些特殊信道离散信道的输入序列为X={X1,X2,…,XN}，其取值为x={x1,x2,…,xN}，其中xn∈A={a1,a2,…,ar}。信道的输出序列为Y={Y1,Y2,…,YN}，其取值为y={y1,y2,…,yN}，其中yn∈B={b1,b2,…,bs}。离散信道特性：p(y|x)=p(y1y2…yN|x1x2…xN)信道的数学模型：{X,p(y|x),Y}4.2离散无记忆信道离散无记忆信道定义若离散信道对任意N