《信息论与编码》 课件 第3章信道与信道容量.pptx

1第3章信道与信道容量信道的分类与数学模型离散单符号信道的信道容量离散序列信道的信道容量连续单符号信道的信道容量连续序列信道的信道容量波形信道的信道容量信道冗余度

23.1.1信道的分类（按照信道输入信号分类）离散单符号信道离散序列信道连续单符号信道连续序列信道波形信道主要目的：研究信道中理论上能够传输或存储的最大信息量，即信道容量。3.1信道的分类

33.1.2信道的数学模型描述：信道把特定输入符号映射为特定输出符号的能力（正确概率）以及映射为其他输出符号的可能性（错误概率）。图3-1信道模型图P(Y|X)

41.离散单符号信道的数学模型转移概率矩阵离散单符号信道模型P(Y|X)

5例：二进制对称信道（BSC）转移概率矩阵图3-2二进制对称信道（BSC）p11=1-p，p12=p，p21=p，p22=1-p

62.离散序列信道的数学模型当输入为离散序列时，用随机矢量x来表示，若输出随机矢量为y，则信道可用转移概率P(y/x）表示。当信源和信道无记忆时，离散序列信道可看成一系列离散单符号信道。

7例:扩展信道如果对离散单符号信道进行L次扩展，就形成了L次离散无记忆序列信道BSC的二次扩展信道00101101000111X?{00,01,10,11}，Y?{00,01,10,11}，二次扩展无记忆信道的序列转移概率p(00/00)=p(0/0)p(0/0)=(1-p)2，p(01/00)=p(0/0)p(1/0)=p(1-p)，p(10/00)=p(1/0)p(0/0)=p(1-p)，p(11/00)=p(1/0)p(1/0)=p210

83.连续单符号信道的数学模型对连续单符号输入信源x，对应的输出为随机变量y。若信道为加性高斯白噪声信道:y=x+n其中，n为0均值、方差为σ2的高斯随机变量。若给定输入x0，则

94.连续序列信道的数学模型当输入为连续序列时，用随机矢量x来表示，若输出随机矢量为y，则信道可用转移概率密度pY(y/x）表示。若输入序列无记忆，无记忆连续序列信道可以看作是一系列连续单符号信道。

105.波形信道的数学模型若输入为波形信源，用随机过程{x(t)}表示，则输出也为随机过程，记为{y(t)}。若满足限时（tB）限频（fm）条件，则可以抽样成L=2fmtB的连续平稳随机序列，则信道用转移概率密度描述，为：若信源信道无记忆，则

111.互信息量表达式3.1.3信道容量的定义

12定理3.1在p(yj|xi)给定时，互信息量I(X;Y)是p(xi)的上凸函数。通信的目的:每次信道使用（每发送一个符号），传送到接收端尽可能多的信息量（互信息量I(X;Y)取最大值）。需要解决的问题是：①该最大值是多少？②p(xi)是什么分布时，取得该最大值？

132.信道容量的定义信道容量（ChannelCapacity）：信道所能传送的最大信息量。比特/符号（bits/symbol或bits/channeluse）在p(y/x)给定时，I(X;Y)是关于p(x)的上凸函数。信道容量要解决的问题：C=?p(xi)=?

14离散无记忆信道（DMC）对称离散无记忆信道准对称离散无记忆信道一般离散无记忆信道3.2离散单符号信道的信道容量

15输入对称如果转移概率矩阵P的每一行都是第一行的置换(包含同样元素)，称该矩阵是输入对称。输出对称如果转移概率矩阵P的每一列都是第一列的置换(包含同样元素)，称该矩阵是输出对称。对称信道如果输入、输出都对称。3.2.1对称离散无记忆信道

16对称DMC信道例子

17输入对称

18如果信道输入符号等概分布p(ai)＝1/n当转移概率矩阵列对称时，信道输出符号p(bj)等概分布－－输出对称

19例3-2.求信道容量

20例3-3.求信道容量信道输入符号和输出符号的个数相同，都为n，且正确的传输概率为1－?，错误概率?被对称地均分给n-1个输出符号，此信道称为强对称信道或均匀信道，是对称离散信道的一个特例。

21例3-4.二进制对称信道（BSC）：当时，错误概率为0，无差错，信道容量达到最大，每符号1bit，输入端的信息全部传输至输出端。当时，错误概率与正确概率相同，从输出端得不到关于输入的任何信息，互信息为0，即信道容量为0。对于的情况，可在BSC的输出端颠倒0和1，导致信道容量以点中心对称。

22例3-5.串联信道

23例3-5.串联信道图3-6m个BSC串联信道的互信息串接的信道越多，其信道容量可能会越小，当串接信道数无限大时