多媒体压缩编码简介.pptx

压缩编码的理论基础是信息论。信息论的主要奠基人香农(C．E．Shannon)曾在他的论文中给出了信息的度量的公式，他把信息定义为熵的减少。 从信息论的角度来看，压缩就是去掉信息中的冗余，即保留不确定的信息，去除确定的信息（可推知的），也就是用一种更接近信息本质的描述来代替原有冗余的描述。所以，将香农的信息论观点运用到图像信息的压缩，所要解决的问题就是如何将图像信息压缩到最小，但仍携有足够信息以保证能复制出与原图近似的图像。 ;1、信息量和熵 压缩编码的理论基础是信息论。 从信息论的角度看,压缩就是去掉信息中的冗余,即保留不确定的信息,去除确定的信息(可推知的),也就是用一种更接近信息本质的描述来代替原有冗余的描述。这个本质的东西就是信息量(即不确定因素)。; （1）信息量 信息量的大小和消息有一定的关系、在数学上，消息是其出现概率的单调下降函数。信息量越大．消息的可能性越小，反之亦然. 信息量是指：为了从N个相等的可能事件中挑选出一个事件所需的信息度量和含量，所提问“是或否”的次数.也就是说，在N个事件中辨识特定的一个事件要询间“是或否”多少次． ;例如 要从256个数中选定某一个数 可以先提问“是否大于128？’，不论回答是与否，则半数的可能事件被取消。如果继续询问下去，每次询问将对应一个lbit的信息量。随着每次询问，都将有半数的可能事件被取消，这个过程由下列公式表示：log2256＝8bit 从公式看出，对于256个数的询问只要进行8次，即可确定一个具体的数。设从N个数中选定任意一个数x的概率为产p（x）．假定选定任意一个数的概率都相等，即p（x）=1/N，则信息量为：;（2） 熵的概念 数据压缩不仅起源于 40 年代由 Claude Shannon 首创的信息论，而且其基本原理即信息究竟能被压缩到多小，至今依然遵循信息论中的一条定理，这条定理借用了热力学中的名词“熵”( Entropy )来表示一条信息中真正需要编码的信息量。En = - log2( Pn ) ;（2） 熵的概念 信息（熵）、热力学熵和复杂程度是互相成正比例的物理量。一个通讯讯号的复杂程度就是信息（熵）、物质微观??态的复杂程度就是热力学熵。 影子不是物质，但它是物质的一种映射；信息不是物质，但它是物质的复杂程度的映射。 考虑用 0 和 1 组成的二进制数码为含有 n 个符号的某条信息编码，假设符号 Fn 在整条信息中重复出现的概率为 Pn，则该符号的熵也即表示该符号所需的位数位为： En = - log2( Pn ) ; 举个例子，对下面这条只出现了 a b c 三个字符的字符串： aabbaccbaa 字符串长度为 10，字符 a, b, c 分别出现了 5, 3 ,2 次，则 a b c 在信息中出现的概率分别为 0.5, 0.3, 0.2，他们的熵分别为： Ea = -log2(0.5) = 1 Eb = -log2(0.3) = 1.737 Ec = -log2(0.2) = 2.322 整条信息的熵也即表达整个字符串需要的位数为： E = Ea * 5 + Eb * 3 + Ec * 2 = 14.855 位;（2） 熵的概念 如果用计算机中常用的 ASCII 编码，表示上面的字符串我们需要整整 80 位呢！现在知道信息为什么能被压缩而不丢失原有的信息内容了吧。简单地讲，用较少的位数表示较频繁出现的符号，这就是数据压缩的基本准则。;信源的概率分布与熵的关系 当信源中各事件是等概率分布时，熵具有极大值。 信源的相关性与序列熵的关系 若序列中各符号具有相同的概率分布，该序列是平稳的。 若序列中各符号间是统计独立的，即前一个符号的出现不影响以后任何一个符号出现的概率，则该序列是无记忆的。 ? ;信源的相关性与序列熵的关系 显然两个事件的相关性越小，残剩的不肯定性便越大，当两事件相互独立时，X的出现，丝毫不能解除Y的不肯定性。在这种情况下，联合熵变为2个独立熵之和，从而达到它的最大值。 结论：信源的冗余度越小，即每个符号所独立携带的信息量越大，那么传送相同的信息量所需要的序列越短，或符号数越少。 ;信源的相关性与序列熵的关系 因此，数据压缩的一个基本途径是去除信源产生的符号之间的相关性，尽可能地使序列成为无记忆的 。 数据压缩的另一基本途径是改变离散无记忆信源的 概率分布，使尽可能地达到等概率分布的目的。 ; 4.1.3 多媒体数据压缩编码的可能