2016秋季多媒体技术第二章信号处理技术与信息论基础学习专业课件.ppt

2.5基本信息论-连续有噪信道中的熵速率和信道容量接收熵速率收信者接收的消息y是由发送消息x和信道噪声n所组成y=x+n信源x与噪声n的共熵为H(x,n)=H(x)+H(n/x)信源和噪声独立：H(x,n)=H(x)+H(n),且y=x+n，因此y的概率分布规律与噪声的概率分布规律一样，p(y/x)=p(n/x）H(y/x)=H(n/x)=H(x,y)=H(x,n)=H(y)+H(x/y)=H(x)+H(n)与离散信道一样，定义接收熵为:H(x)-H(x/y)=H(y)-H(n)接收熵速率(信道传信率)R=H’(x)-H’(x/y)=H’(y)-H’(n)(bit/s)2.5基本信息论-连续有噪信道中的熵速率和信道容量(续1)信道容量X与n无关，故H’(n)与p(x)无关假定信道如下特性，干扰为随机噪声，功率谱均匀，幅度为高斯分布，平均功率为N;信道带宽为矩形带宽，宽度为W;信道输入信号平均功率受限，为P，如何计算信道容量?Shannon公式2.5基本信息论-连续有噪信道中的熵速率和信道容量(续2)结论平均功率受限的高斯白噪声信道，其信道容量C与信道带宽W和信号噪声功率比P/N有关平均功率受限的信道，当其输入信号为高斯分布式，该信道的传信率R可以达到传信率理论极限值-容量平均功率受限的信道，高斯白噪声危害最大。因为这时候H’(n)最大目前还没有实际系统其传信率达到信道容量，但指出了现实系统的潜在能力和理论极限值，可以作为通信系统中带宽与信号噪声比进行互换的理论基础2.6信源与信道匹配的编码2.6.1编码定理2.6.2信源最佳化2.6.3符号独立化2.6.4概率均匀化2.6信源与信道匹配的编码-编码定理当信源输出有剩余的消息时，信道的传信率或熵速率就小于信道容量Shannon指出:可以通过适当的编码方法使信道的传信率无限接近信道容量无噪声离散信道的编码定理假设信源熵为H(bit/符号)，无噪声信道容量为C(bit/秒),则总可以找到一种方法对信源的输出进行编码，使得在信道上传输的平均速率为每秒(C/H-e)个符号，其中e为任意小的正数，但要使传输速率大于C/H是不可能的定理的逆命题，即速率不可能超过C/H可以这样说明，信源每秒送入信道的熵等于信源的熵速率，这个速率不能超过信道容量，也就是说H’=C,并且每秒钟符号个数H’/H=C/H为使信源与信道在统计意义上达到匹配，应当在信源信道之间加入编码器，使得从信道输入端来看，输入信源应当与使信道中熵最大的信源具有同样的统计特性，这就是信源信道之间达到最佳匹配理想和近似理想的编码系统均有长时间的延迟，实用性受限2.6信源与信道匹配的编码-编码定理(续1)有噪声离散信道的编码定理假设离散信源的熵速率为R，噪声信道容量为C(bit/秒)，如果R=C,则存在一种编码方法，使信源的输出能以任意小的错误概率在信道上传输，如果RC，就不可能有象R=C时的编码方法定理本身没有给出编码方法，而是存在性！信源和信道给定后，编码器的设计分为两大类变换信源符号间的概率分布使之达到最佳，从而使信息传输速率任意逼近信道容量，这类编码称为有效性编码，主要针对信源特性实现信源与信道之间的匹配，也称为信源编码变换信源符号间的规律性或相关性，使之在一定传信条件下错误概率任意小，这类编码主要为了提高抗干扰性，称为抗干扰编码，针对信道特性而采取的措施，也称为信道编码有噪信道的编码定理在原则上给出了有效性和抗干扰性两方面的最佳统一，但目前没找到！2.6信源与信道匹配的编码-信源最佳化通信系统的传输效率就是指给定信道的信道容量利用率，表示信道的实际传信率与信道容量的比值无噪声信道中提高传输效率，基本任务就是要改造信源，使其熵最大化，此时，达到这个目的的过程就是信源最佳化的过程。而信源熵H(x)最大化的实际上就是找到一种最佳的概率分布根据熵函数的性质，在离散信源情况下，当各个符号彼此独立并且概率相等时，信源熵达到最大值2.6信源与信道匹配的编码-信源最佳化(续1)信源熵的最大化首先：进行符号独立化，解除符号间的相关性各个符号概率均匀化实际操作如果符号已经相互独立了，那就只需要概率均匀化一般先解除符号间的相关性，再进行概率均匀化问题：Huffman编码属于那一种？为什么？2.6信源与信道匹配的编码-符号独立化符号独立化解除信源各个符号间的相关性弱记忆信源和强记忆信源弱记忆信源(弱相关信源)信源符号序列中，只有相邻的少数几个符号之