[经济学]信息论与编码第三章-100406.ppt

第3章 无失真信源编码 3.1 编码的定义 3.2 定长编码定理 3.3 变长编码定理 3.4 最佳编码 3.4.1香农编码方法 3.4.2费诺编码方法 3.4.3哈夫曼编码方法 习 题 第3章 引言 编码分为信源编码和信道编码，其中信源编码又分为无失真信源编码和限失真信源编码。 无失真信源编码：适用于离散信源或数字信号。 限失真信源编码：主要用于连续信源或模拟信号，如语音、图像等信号的数字处理。 第3章 引言 香农信息论三大定理 : 1. 第一极限定理:无失真信源编码定理. 2. 第二极限定理: 信道编码定理（包括 离散和连续信道）. 3. 第三极限定理: 限失真信源编码定理. 3.1 编码的定义 3.1 编码的定义 3.1 编码的定义 3.1 编码的定义 3.1 编码的定义 3.1 编码的定义 3.1 编码的定义 3.1 编码的定义 例3.1.1设二进制码树中X∈｛x1，x2，x3,x4｝，K1=1，K2=2，K3=2，K4=3，应用上述判断定理，可得 3.1 编码的定义 例3.1.1设二进制码树中X∈｛x1，x2，x3,x4｝，K1=1，K2=2，K3=3，K4=3，应用上述判断定理，可得 本节内容回顾 3.2 定长编码定理 定长编码定理： 由L个符号组成的、每个符号的熵为 的无记忆平稳信源符号序列 ，可用KL个符号 （每个符号有m种可能值）进行定长编码。对任意ε＞0，δ＞0，只要 则当L足够大时，必可使译码差错小于δ；反之，当 时，译码差错一定是有限值，而当L足够大时，译码几乎必定出错 3.2 定长编码定理 只要码字所能携带的信息量大于信源序列输出的信息量，则可以使传输几乎无失真. 能达到差错率要求,源序列长度L需满足 （由切比雪夫不等式得到的） 定义: 编码效率 最佳编码效率 3.2 定长编码定理 例3-2-1 设离散无记忆信源概率空间为 对该信源进行定长二元编码，要求编码效率η=90%，并要求译码错误概率δ≤10-6进行能达到差错率要求,求信源序列长度L应满足的条件，才能满足上述要求。 3.2 定长编码定理 例3-2-1 3.2 定长编码定理 例3-2-1 3.3 变长编码定理 单个符号变长编码定理： 若一离散无记忆信源的符号熵为H(X)，每个信源符号用m进制码元进行变长编码，一定存在一种无失真编码方法，其码字平均长度 满足下列不等式 离散平稳无记忆序列变长编码定理（香农第一定理）: 对于平均符号熵为HL(X)的离散平稳无记忆信源，必存在一种无失真编码方法，使平均信息率 满足不等式 3.3 变长编码定理 设用m进制码元作变长编码，序列长度为L个信源符号，序列平均码字长度 满足下列不等式 已知平均输出信息率为 编码效率的下界： 码的剩余度: 3.3 变长编码定理 例3.3.1设离散无记忆信源的概率空间如下,求编码效率? 解:其信源熵为 (1)定长编码 若用二元定长编码(0，1)来构造一个即时码：x1→0,x2→1。这时平均码长 编码效率为 输出的信息率为 R=0.811比特/二元码符号 3.3 变长编码定理 例3.3.1设离散无记忆信源的概率空间如下,求编码效率? 解:其信源熵为 (2)变长编码 假定信源序列的长度为L=2,其即时码如下表。 3.3 变长编码定理 例3.3.1设离散无记忆信源的概率空间如下,求编码效率? 解:其信源熵为 (2)变长编码 假定信源序列的长度为L=2,其即时码如下表。