信息论与编码-第三章.pptVIP

信息论与编码-信道与信道容量转移矩阵为是一个对称DMC信道，当输入序列等概分布时，达到信道容量信道容量为01若p=0.1，信道容量为C2=(2-0.938)bit/序列=1.062bit/序列02BSC单符号时信道容量为C1=1-H(0.1)=0.531bit/序列=1/2C203信息论与编码-信道与信道容量在连续信源情况下，可用两个相对熵之差来表征互信息。因而，连续信道具有与离散信道类似的信息传输率和信道容量表达式。互信息的最大值就是信道容量。只考虑加性噪声信息论与编码-信道与信道容量4连续信道及其容量由于I(X;Y)=h(X)-h(X|Y)=h(Y)-h(Y|X)，信道容量为01由限平均功率最大熵定理，当信道输出Y正态分布时，熵最大。02连续单符号加性信道信息论与编码-信道与信道容量010203040506设py(y)=N(0,P)，其中P为Y的平均功率限制值。由于信道输入X与噪声统计独立，且y=x+n，所以，其功率可以相加，即P=S+σ2，S为信道输入X的平均值。显然，若py(y)=N(0,P)，则px(y)=N(0,S),这时，信息传输率达到最大式中，S/σ2是信号功率与噪声功率之比，称为信噪比，用SNR表示信道容量仅取决于信道的信噪比。信息论与编码-信道与信道容量对于均值为零、平均功率为σ2的非高斯噪声，其信道容量为1上式说明在同样平均功率受限的情况下，非高斯噪声信道的容量要大于高斯噪声信道的容量2因此，在实际处理问题时，通常采用计算高斯噪声信道的容量的方法保守地估计容量，且高斯噪声信道的容量容易计算。3信息论与编码-信道与信道容量这是因为与无关。对称DMC信道的条件熵H(Y/X)与信道输入符号的概率分布无关，且有对称DMC信道的性质：信息论与编码-信道与信道容量01ii）当信道输入符号等概分布时，信道输出符号也等概分布；反之亦然(列对称）容量公式：02信息论与编码-信道与信道容量信息论与编码-信道与信道容量iii）当信道输入符号等概分布时，对称DMC信道达到其信道容量，为求信道容量。解：例题3-1：某对称DMC信道，信道转移矩阵为信息论与编码-信道与信道容量例题3-2：强对称信道（均匀信道），信道转移概率矩阵1输入符号和输出符号的个数相同，都为n，正确的传输概率为1-ε，错误概率ε，均匀的分配给n-1各输出符号。信道容量为2信息论与编码-信道与信道容量BSC信道的信道容量BSC信道是均匀DMC信道在输入输出在n=m=2时的特例，所以对于转移概率为p(0/1)=p(1/0)=p，p(0/0)=p(1/1)=1-p的信道，当时，其平均互信息量最大，即其信道容量为：信息论与编码-信道与信道容量信息论与编码-信道与信道容量信息论与编码-信道与信道容量C与信道转移概率的关系如下图所示。当p=0时，即信道无误码时，C=H(X)=1bit/符号，达到了信道容量的最大值，相当于没有噪声损失。CpC-p曲线0.20.40.60.81.00.20.40.60.81.00当p=0.5时，信道容量C=0，这时候由于输入输出完全独立，从输出端得不到任何关于输入的信息信息论与编码-信道与信道容量例3-3设有两个离散BSC信道，其转移概率矩阵都为YZ1-ε101εX21-εε3εε41-ε1-ε5106信息论与编码-信道与信道容量可以求得

I(X;Y)=1-H(ε),I(X;Z)=1-H(2ε(1-ε))1准对称DMC信道的信道容量2如果信道转移矩阵P是输入对称而输出不对称，即转移概率矩阵的每一行都包含同样的元素，但每一列包含的元素可以不同，则称这样的信道为准对称DMC信道。例如：3就是准对称DMC信道。信息论与编码-信道与信道容量由于每列元素不相同，所以信道的输入和输出概率可能不等，此时H(Y)的最大值可能小于Y等概率时的熵，因而准对称DMC信道的容量01可以证明，对于准对称DMC信道，当输入概率分布为等概分布时，达到其信道容量，为02信息论与编码-信道与信道容量1n是输入符号集中符号个数，是转移概率矩阵中一行的元素，即2是信道转移矩阵的第k个子矩阵中行元素之和，3是信道转移矩阵的第k个子矩阵中列元素之和。4r是互不相交的子集个数信息论与编码-信道与信道容量信息论与编码-信道与信道容量转移矩阵的子矩阵是这样得到的：由于