专题(聊城大学).PPTVIP

单符号离散信道的输入变量为X，取值于 输出变量为Y，取值于 。 并有条件概率 条件概率被称为信道的传递概率或转移概率。 一般简单的单符号离散信道的数学模型可以用概率空间[X,p(y|x),Y]来描述。 它们都是由于噪声干扰的存在而存在的。信道中存在噪声干扰，是减低信道传信能力的基本原因。 因此不难证明: H(XY) = H(X) = H(Y), H(X|Y) = H(Y|X) = 0 在这种无干扰信道中，对应于输入符号有唯一的接收符号，接收端的平均不确定程度和发送端的平均不确定程度相同； 在这种信道中，信息被无损地传输，故又称为“无损信道”； 这种信道的输入和输出符号没有关系，Y 知道后关于 X 的不确定性 H(X|Y) 和没有 Y 时的不确定性 H(X) 完全一样，信息无法传输，称为“全损信道”； 各种熵之间的关系 4、平均互信息的凸状性 平均互信息量的数学特性 定理3.1 平均互信息I(X;Y)是信源概率分布P(X)的 型凸函数 定理3.2 平均互信息I(X;Y)信道传递概率分布P(Y/X)的 U型凸函数 平均互信息量的数学特性 平均互信息量是p(xi)和p(yj /xi)的函数，即I(X;Y)=f [p(xi), p(yj /xi)]； 若固定信道，调整信源，则平均互信息量I(X;Y)是p(xi)的函数，即I(X;Y)=f [p(xi)]； 若固定信源，调整信道，则平均互信息量I(X;Y)是p(yj /xi)的函数，即I(X;Y)=f [p (yj /xi)]。 I(X;Y)是 p(xi)的上凸函数 I(X;Y)是 p(yj/xi)的下凸函数 证明过程与上面相同，只是这里是设p(x)固定， 为两个不同的条件概率。 小结 （一）信道的分类 作业 （2）对于强对称信道，其信道容量为： 若信道的列可以划分成若干个互不相交的子集，每一个子集都是对称信道，则称该信道为准对称信道，如： 可划分为： 4、准对称信道的信道容量 (1) 准对称信道的定义 可分成： （2）准对称信道的信道容量 可以证明达到信道容量的输入分布是等概分布，也可计算准对称信道的信道容量为： 其中r是输入符号集的个数， 为矩阵中的行元素 是第k各矩阵中的行元素之和， 是第k个矩阵的列元素之和 例： 可分成： 4、一般离散信道的信道容量 我们可以对输入分布求极值，得到 而： 定理3.3 一般离散信道达到信道容量的充要条件是输入概率分布满足 该定理说明，当平均互信息达到信道容量时，信源每一个符号都对输出端输出相同的互信息。 可以利用该定理对一些特殊信道求得它的信道容量 例：输入符号集为:{0,1,2} 假设P(0)=P(2)=1/2，P(1)=0，则： 第四节 信道容量及其一般计算方法 所以： 对于一般信道的求解方法，就是求解方程组 移项得： 令 则 若r=s，此方程有解，可以解出s各未知数 ，再根据 得 从而 例： 可列方程组： 解之得： 第五节 离散无记忆扩展信道及其信道容量 离散无记忆信道的输入符号集为： 则它的N次扩展信道为： 信道矩阵为： XN YN 为N次扩展信源中的一个符号 为N次扩展接收符号集中的一个符号 二元记忆对称信道为 例：二元无记忆对称信道得二次扩展信道 可以将信道的扩展和信源的扩展联系起来看，当信源扩展以后，信道也就称为了扩展信道。 则它的二次扩展信道为： 根据互信息的定义 定理3.5 如果信道是无记忆的，即 则： 定理3.6 如果信源是无记忆的 因此，如果信源、信道都是无记忆的 这就是离散无记忆扩展信道得信道容量，该信道容量在信源是无记忆信源且每一个输入变量Xi达到最佳分布时达到。 第六节 信源与信道的匹配 信道的信道容量是固定的，如果某一信源通过该信道传输时，信息传输率达到了信道容量，我们认为信源与信道达到匹配，否则，我们认为有剩余。 定义：信道剩余度＝C-I(X;Y) 信道的相对剩余度＝ 对于无损信道，相对剩余度＝ 一般通信系统中，把信源发出的符号变成能在信道中传输的符号，在传输时，要能够尽量用较少的符号表示相同的信息，这样就可以提高信息的传输率，从而提高信道的利用率。这就是香农无失真信源编码理论，也就是无失真数据压缩理论。 无失真信源编码就是将信源输出的消息变换成适合信道传输的新信源的消息来传输，而使新信源的符号接近等概率分布，新信源的熵接近最大熵。这样，信源传输的信息量达到最大，信道剩余度接近于零，信源与信道达到匹配。这些是我们将在下一章讨论这些问题。