信息论与编码_PPT_第5章信源编码.ppt

第5章　信源编码 编码分为信源编码和信道编码，其中信源编码又分为无失真和限失真。 一般称 无失真信源编码定理为第一极限定理； 信道编码定理（包括离散和连续信道）称为第 二极限定理； 限失真信源编码定理称为第三极限定理。 第5章　信源编码 由于信源符号之间存在分布不均匀和相关性，使得信源存在冗余度，信源编码的主要任务就是减少冗余，提高编码效率。 第5章　信源编码 信源编码的基本途径有两个： 使序列中的各个符号尽可能地互相独立，即解除相关性； 使编码中各个符号出现的概率尽可能地相等，即概率均匀化。 第5章　信源编码 信源编码的基础是信息论中的两个编码定理： 无失真编码定理 限失真编码定理 无失真编码只适用于离散信源 对于连续信源，只能在失真受限制的情况下进行限失真编码 5.1 编码的定义 5.1 编码的定义 信源编码是指信源输出符号经信源编码器编码后转换成另外的压缩符号 无失真信源编码：可精确无失真地复制信源输出地消息 5.1 编码的定义 将信源消息分成若干组，即符号序列xi， xi＝(xi1xi2…xil…xiL)， xil?A={a1，a2，…，ai，…，an} 每个符号序列xi依照固定码表映射成一个码字yi， yi＝(yi1yi2…yil…yiL)， yil?B={b1，b2，…，bi，…，bm} 这样的码称为分组码，有时也叫块码。只有分组码才有对应的码表，而非分组码中则不存在码表。 5.1 编码的定义 如图5-1所示，如果信源输出符号序列长度L＝1，信源符号集A(a1，a2，…，an) 信源概率空间为 5.1 编码的定义 不同的码符号序列，如表5-1所示。 5.1 编码的定义 5.1 编码的定义 5.1 编码的定义 通常可用码树来表示各码字的构成 5.1 编码的定义 5.1 编码的定义 唯一可译码存在的充分和必要条件 各码字的长度Ki 应符合克劳夫特不等式： 5.1 编码的定义 例：设二进制码树中X (a1， a2 ， a3 ， a4 )，K1＝1，K2＝2，K3＝2，K4＝3，应用上述判断定理： 5.1 编码的定义 5.2 无失真信源编码 信源输出 X＝(X1X2…Xl…XL)， Xl?{a1，a2，…，ai，…，an} 编码为 Y＝(Y1Y2…Yk… YkL)， Yk?{b1，b2，…，bj，…，bm}。 要求能够无失真或无差错地译码，同时传送Y时所需要的信息率最小 5.2 无失真信源编码 无失真的信源编码定理 定长编码定理 变长编码定理 5.2 无失真信源编码 由L个符号组成的、每个符号的熵为HL(X)的无记忆平稳信源符号序列X1X2…Xl…XL，可用KL个符号Y1，Y2，…，Yk，…，（每个符号有m种可能值）进行定长编码。对任意?0，?0，只要 则当L足够大时，必可使译码差错小于?； 反之，当 时，译码差错一 定是有限值，而L足够大时，译码几乎必定出错 5.2 无失真信源编码 定长编码定理说明， 5.2 无失真信源编码 反之，当 时，不可能构成无失真的编码，也就是不可能做一种编码器，能使收端译码时差错概率趋于零。 时，则为临界状态，可能无失真，也可能有失真。 5.2 无失真信源编码 式中 为自信息方差 ?为一正数。当 和 均为定值时，只要L足够大，Pe可以小于任一正数?。即， 5.2 无失真信源编码 当信源序列长度L满足 时， 能达到差错率要求 5.2 无失真信源编码 在连续信源的情况下，由于信源的信息量趋于无限，显然不能用离散符号序列Y来完成无失真编码，而只能进行限失真编码。 5.2 无失真信源编码 定义 为编码效率，即信源的平均符号熵为H(X)，采用平均符号码长为 来编码，所得的效率。 编码效率总是小于1，且最佳编码效率为 5.2 无失真信源编码 编码定理从理论上阐明了编码效率接近1的理想编码器的存在性，它使输出符号的信息率与信源熵之比接近于1，即 L取无限长 5.2 无失