广东工业大学管理学院信息管理学课件第五章 信源编码.ppt

第5章 信源编码 5.1 信息传输概述 －5.1.1 信息传输的概念 －5.1.2 信息传输的模型 5.2 信宿从信息传输中所获得的信息量 5.3 信源产生冗余的原因 －5.3.1离散无记忆平稳信源传输 －5.3.2离散有记忆平稳信源传输 5.4 无失真信源编码 －5.4.1 编码的有关概念 －5.4.2 等长码与等长信源编码定理 －5.4.3 变长码与变长信源编码定理 －5.4.4 霍夫曼码 [学习目标] （1）掌握信息传输的基本概念及模型； （2）掌握信宿获得信息量的计算方法与原理； （3）理解信源编码的概念和信源编码定理； （4）理解和掌握霍夫曼编码方法。 5.1 信息传输概述 5.1.1 信息传输的概念 信息可以脱离其源事物独立存在。 信息传输就是信息脱离源事物而附着于一个物理载体并通过载体的运动将信息在空间中从一点传送到另一点。 信息传输的核心问题是保证传输的可靠性、有效性和必威体育官网网址性。 信息传输，其实只是语法信息的传输，且主要是概率语法信息的传输 。 5.1 信息传输概述 5.1.1 信息传输的概念 通常，把一种事物运动的表征脱离源事物而附着于另一种事物的过程，称为信息的表示过程，或叫做“信息变换”过程。 信息在空间中传送的过程，可能要经过多次变换，要变更多种不同的载体。 载体既要能够在空间中转移，又要有能力表示所传输的信息。 把能将自己的某种物理量与所附着的信息建立一一对应关系的物理载体称为信号。 5.1 信息传输概述 5.1.2 信息传输的模型 1．信息传输的基本模型（见图5.1 ） 5.1 信息传输概述 5.1.2 信息传输的模型 2. 信息传输的一般模型 为了保证信息传输的安全与必威体育官网网址，把信息传输的基本模型改为如下图5.2的一般模型： 5.1 信息传输概述 信息传输的四个性质： （1）可靠性－－ 准确地、不失真地。 （2）有效性－－ 信息传输的效率高。 （3）必威体育官网网址性－－ 隐蔽和保护信息。 （4）认证性－－验证正确性、完整性。 5.2 信宿从信息传输中所获得的信息量 若对试验一无所知，则可视为等概率事件，则其信息熵： 通过试验后得到的信息熵： 用户R 通过这次试验获得的信息量I(P;R)就是其不确定性的减少，即 5.2 信宿从信息传输中所获得的信息量 若确知试验结果是 xk 发生，则为0-1事件，其概率分布 Ps 为： 其不确定性，即香农信息熵为： 5.2 信宿从信息传输中所获得的信息量 设对 X 的观察前，用户R 相应的先验与后验概率分布为： 用户R 可以从中获得的概率语法信息量为： 5.2 信宿从信息传输中所获得的信息量 只有当P=P0 时，有 I(P;R)=I(P0;R)=0 在一般情况下，有 0 I (P;R) logN P≠P0 考虑理想情况，有 0≤ I (P;R)≤ logN 若P=P0 ，上式左边的等号成立，即 I(P;R)=I(P0;R)=0 表示 R 关于 X 的先验信息量为零； 若P=Ps ，上式右边的等号成立，即 I(P;R)=I(Ps;R)=logN 表示 R 掌握了关于 X 的全部信息，其先验信息量 达到极大值 logN 。 5.2 信宿从信息传输中所获得的信息量 I(P*; R) 就是用户R 关于X 的后验信息量。在理想观察的条件下，用户R关于X 的后验信息量等于X 本身实际包含的信息量，此信息量称为 X 的实在信息量，简记为 I(P*) ，于是 也就是说，用户 R 关于 X 的实得信息量等于X 自身的实在信息量与 R 关于 X 的先验信息量之差。 5.2 信宿从信息传输中所获得的信息量 1. 直接观察的情形 假定观察的条件是理想的，实验的结局是确定型的，即 ，那么可以推出 R 的实得概率语法信息量计算公式为： 它表明，在特定条件即 的场合，观察者 R 在观察 X 的过程中实际获得的概率语法信息量在数值上等于 H(X ) 。 5.2 信宿从信息传输中所获得的信息量 2. 间接观察的情形 假设 R 不能直接观察到 X，只能通过Y 来观察 X，而Y 本身也是一个随机实验，且与 X 有概率联系。那么对于 R 来说，图5.4等效于图5.5。 假定 5.2 信宿从信息传输中所获得的信息量 2. 间接观察的情形 那么，在