信息论基础-总复习.pptVIP

多媒体数据压缩技术音频数据数据压缩的好处数据压缩技术的衡量标准试题类型判断题共10小题，满分20分；填空题共6小题，满分20分；证明题共1小题，满分10分；计算题共4小题，满分50分：各类熵以及互信息的计算；马尔科夫信源熵及其相关；唯一可译码的判定、D进Huffman编码及其相关；线性分组码综合；二进信道容量的计算及其相关；r元等概分布对称信源的率失真函数与失真度的计算．信息论的基本内容课程特点：以概率论为基础，数学推导较多，学习时主要把注意力集中到基本概念的理解上，不过分追求数学细节的推导。学习时注意理解各个概念的“用处”，结合其他课程理解它的意义，而不要把它当作数学课来学习，提倡独立思考，注重思考在学习中的重要性。信源编码器信道译码器信宿噪声源通信系统模型信息论的研究对象是这种统一的通信系统模型。狭义信息论：主要研究信息的度量、信道容量（信道的传输能力）、信源及信道的编码问题。这部分理论是Shannon信息论，也称基础信息论香农信息论的核心：揭示了在通信系统中采用适当的编码后能够实现有效且可靠的传输信息，并得出了信源编码定理和信道编码定理。无失真信源编码定理（第一极限定理）信道编码定理（第二极限定理）有失真信源编定理（第三极限定理）三大定理从数学观点看，这些定理是最优编码的存在定理。但从工程观点看，这些定理不是结构性的，不能从定理的结果直接得出实现最优编码的具体途径。然而，它们给出了编码的性能极限，在理论上阐明了通信系统中各种因素的相互关系，为人们寻找最佳通信系统提供了重要的理论依据。Shannon信息论：在噪声环境下，可靠地、安全地、有效地传送信息理论---狭义信息论有效性编码：压缩信源的冗余,从而提高信息的传输效率,主要是针对信源的统计性进行编码,故也称为信源编码。可靠性编码：一般增加信源的冗余,有以提高信息传输的可靠性,主要是针对信道的统计性进行编码,故也称为信道编码安全性编码：将信源的明文编码成密文，提高通信的安全性。020301编码理论与技术仙农从研究通信系统传输的实质出发，对信息做出了科学的定义；因此,对于收信者来说,通信过程是消除事物状态的不确定性的过程，不确定性的消除，就获得了信息，原先的不确定性消除的越多，获得的信息就越多；仙农注意到：收信者在收到消息之前是不知道消息的具体内容的。通信系统消息的传输对收信者来说，是一个从不知到知的过程，或者从知之甚少到知之甚多的过程，或是从不确定到部分确定或全部确定的过程。“信息”是事物运动状态或存在方式的不确定性的描述，这就是仙农关于信息的定义。2341“信息”的定义或贰定义：若事件x的概率为p(x)，则称壹为事件x的自信息量，简称x的自信息.叁自信息（自）互信息量定义互信息量表示先验的不确定性减去尚存的不确定性，这就是收信者获得的信息量；互信息量可能为正数、负数、0；xiyj信道p(xi):发送端发送xi的概率；P(xi|yj):接收端收到yj后，发送端发送xi的概率定义:平均互信息量定义与其他熵的关系I(X;Y)=H(X)-H(X|Y)I(X;Y)=H(Y)-H(Y|X)I(X;Y)=H(X)+H(Y)-H(X,Y)表达平均互信息量的熵I(X;Y),是确定通过信道的信息量的多少，因此称它为信道传输率或传信率。熵的含义性质熵是从整个集合的统计特性来考虑的，它是从平均意义上来表征集合的总体特征的。熵表示事件集合中事件发生后，每个事件提供的平均信息量；熵表示事件发生前，集合的平均不确定性；信道中熵的信息流图H(Y|X):信道散布度；H(X|Y):信道含糊度；它们都是由于噪声干扰的存在而存在的。信道中存在噪声干扰，是减低信道传信能力的基本原因。H(X)H(Y)I(X;Y)H(X|Y)H(Y|X)A∪BA∩BH(X)H(X|Y)AA∩B’BA’∩BH(X,Y)I(X;Y)H(Y)H(Y|X)各类熵与集合图的类比信道容量的计算通常计算一个信道的信道容量是比较麻烦的，甚至是不可能精确计算出来的，这是因为需要对所有可能的输入信号的概率分布来计算I(X;Y)，从中找出最大可能的一个作为信道容量;是输入随机变量X的概率分布p(x)的上凸函数，因此对于一个确定信道，总存在一个信源（某种概率分布p0(x)），使得传输每个符号平均获得的信息量最大，即每个固定信道都有一个最大的信息传输率，定义这个最大值为信道容量C：由于I(X,Y)=H(X)-H(X/Y)bi