信息处理与编码修订本吴伟陵第1章上课用课件.pptVIP

第1章 无失真信源与信息熵 1.1 信源特性与分类 1.2 离散信源的信息熵 1.3 离散序列信源的熵 1.4 互 信 息 1.5 冗 余 度 1.6 连续信源的熵与互信息 1.1 信源特性与分类 1.1.1 信源的统计特性 在信息论中，确切地说信源是产生消息(符号)、消息序列和连续消息的来源。从数学上看，由于消息的不确定性，因此，信源是产生随机变量、随机序列和随机过程的源。 其次，讨论信源的特性。客观信源的基本特性是具有随机不确定性。 1.1.2 信源的描述与分类 首先讨论离散单个消息(符号)信源。它是最简单的也是最基本的信源，是组成实际信源的最基本单元。 其次，讨论实际信源。实际信源不可能仅发送单个消息(符号)，对离散信源而言，发送的是一组消息(符号)串，即一个随机序列；对连续信源而言则是一随机过程。 在实际问题中，连续的模拟信源往往可以采用两种方法进行分析。 一类是将连续信源离散化为随机序列信源，再采用前面的随机序列信源进行分析； 另一类则是直接分析连续模拟信源，但是由于数学上的困难，只能分析单个连续消息变量的信源。 3类最常用展开式：傅氏级数展开、取样函数展开及K-L展开。 1.2 离散信源的信息熵 1.2.1 信息熵和信息量的基本概念 1928年，信息论的先驱者之一哈特莱(Hartley)首先研究了具有Nm个组合的单个消息信源。他对这类非概率(实际是等概率)信源进行了研究，并给出了最早的信息度量公式： I=logNm=mlogN 若两个消息ui、uj出现不是独立的，而是有相互联系的，这时可引用条件概率来描述。若将在信源消息ui(或uj)已出现的条件下，消息uj(或ui)出现的条件概率表示为Pji(或Qij)，则其非平均自信息量I(Pji)(［或I(Qij)］)为： I(Pji)＝ ＝-logPji I(Qij)＝ ＝-logQij 1.2.2 熵的数学性质 由熵的定义有： 它是消息概率pi的泛函数，即对数函数的统计加权函数。由概率的归一性，它仅有n-1个独立变量。 定理1-2-1：熵函数H(U)具有以下主要性质。 (1) 对称性 (2) 非负性 (3) 确定性 (4) 扩展性 (5) 递推性 (6) 可加性 在证明此定理以前，先简要讨论凸函数的基本概念。 首先从凸集合入手，对集合C?Rn(n维欧氏空间)，如果有： p∈C，q∈C，且对任意实数λ(0≤λ≤1)，有λp+(1-λ) q∈C，则称C为凸集合。 其次，简介凸函数概念。 设f(p)是由某个凸集C(C ? Rn)上定义的实函数，对于任意实数λ(0≤λ≤1)，和任意矢量P∈C，q∈C，若满足： λf(P)+(1－λ)f(q)≥f［λP+(1－λ)q］ 在概率论中，当我们在讨论到函数的数学期望与数字期望的函数的关系时，往往可以引用Jensen不等式： 当f(x)为下凸函数时，有 E［f(x)］≥f［E(x)］ 当f(x)为上凸函数时，有 E［f(x)］≤f［E(x)］ *1.2.3 熵的公理化结构 若信源消息有n种，其概率为1/n ，令H＝φ(n)。进一步，若信源由两个独立等概率分布消息所组成：一个取值n种，概率为1/n，另一个取值m种，概率1/m。 由可加性： H＝φ(m，n)＝φ(m)+φ(n) 更严格一些，当pi为无理数时，应加上扩展性条件，以保证有理数逼近无理数时概率pi的极限存在。即pi＝niε+δiε。 1.3 离散序列信源的熵 1.3.1 离散无记忆信源的序 列熵H(U)与消息熵HL(U) 1.3.2 离散有记忆信源的序 列熵H(U)与消息熵HL(U) 1.4 互 信 息 1.4.1 单个消息的互信息 定理1-4-1：互信息具有下列性质。 (1) 对称性 (2) 非负性 (3) 互信息不大于信源熵 *1.4.2 消息序列的互信息I(U;V) 1.4.3 信息不增性原理 信息不增性原理又称为信号数据处理定理，是信息处理中应遵守的最基本的原理。在信息处理中，经常要对所获得的数据信息进行进一步分类与归并处理，即需要将所接收到的有限数据空间(Y，q)归并为另一类处理后的有限数据空间(Z=D(Y)，p)。 1.5 冗 余 度 冗余度又称剩余度，它是表征信源信息率多余程度的一个物理量。冗余度描述的是信源的相对剩余，即在信源中多余分量所占的比重与百分比。 由此可见，对于有记忆信源，最小的平均每个消息的消息熵应为H∞(U)。 1.6 连续信源的熵与互信息 在通信中，除了数字式信源以及可离散化的数字信源外，还存在着大量的连续的模拟信源，比如模拟式语声与图像。 连续信源中一系列的问题在概念上与离散信源是不相同的，但也存在一些共同点。 应当注意