编码理论第2章.ppt

2.1 信源分类 2.2 基本离散信源及其信息度量 2.2.1 数学模型 2.2.2 自信息量 2.2.3 信息熵及其性质 2.3 离散平稳信源及其信息度量 2.3.1 数学模型 2.3.2 自信息量 2.3.3 联合熵、条件熵 2.3.4 各种熵之间的关系 2.3.5 离散平稳无记忆信源信息熵 ;第2章 信源及其信息度量2.1 信源分类;3.根据信源输出信号所对应的不同的随机过程可以导出不同的信源模型。 (1)根据随机过程具有的随机变量前后独立与否可分为:独立随机信源(或称无记忆信源)和不独立随机信源(或称有记忆信源) (2)根据随机过程平稳与否可分为:平稳(稳恒)信源和非平稳(非稳恒)信源 (3)特殊的随机过程相对应又有特殊的信源模型:与高斯过程相对应的高斯信源，与Markov过程相对应的Markov信源等，其中，Markov信源是有记忆信源中最简单且最具代表性的一种。;2.2 基本离散信源及信息度量; ;2.2.2 自信息量 基本离散信源中某个消息或随机事件是否发生蕴涵着不确定性，一个消息出现概率越接近1，说明该消息发生的可能性很大，它所包含的不确定性就很小，消息发生给收信者提供的信息量就很小。反之，一个消息出现概率越接近0，说明该消息发生的可能性很小，它所包含的不确定性就很大，消息发生给收信者提供的信息量就很大。 将事件或消息u自信息量记为I(u),自信息量的定义应满足以下四点： (1) 信息量I(u)应该是事件u发生的先验概率p(u)的单调递减函数； (2)信息量I(u)应具有可加性； (3)当I(u)表示确定事件发生得不到任何信息； (4)当I(u) 表示不可能事件一旦发生，信息量将无穷大。 当事件u发生前，其自信息量I(u)表示事件发生的不确定性；当事件u发生后，其自信息量I(u)表示事件所能提供的最大信息量。;事件u自信息量定义为 I(u)＝－ （2-2） 在信息论中常用的对数底是2，信息量的单位是比特（bit），即： I(u)＝－lbp（u） (比特 ) （2-3） 若取自然对数e为底，则信息量的单位为奈特（nat），即： I(u)＝－lnp（u） ( 奈特) （2-4） 若???10为对数底，则信息量的单位为笛特（det），即： I(u)＝－lgp（u） ( 笛特) （2-5） 这三个信息量单位之间的转换关系如下： 1bit≈0.693nat≈0.301det (2-6); [例2-3] 有一布袋内放100个球，其中70个球是红色的，30个球是白色的。若随机摸取一个球，猜测其颜色，求摸取一次所能获得的自信息量。 解: 设0表示摸出的是红球；1表示摸出的是白球,则这一随机事件的概率空间为 如果被告知摸出的是红球，那么获得的信息量是： 　　　　　　　　　　　　　　 如果被告知摸出的是白球，那么获得的信息量是： 　　　　　　　　　　　　　; 2.2.3 信息熵及其性质 1. 平均自信息量 r元基本离散信源自信息的数学期望为信源的平均自信息量，即： ;如果选取以m为底的对数，那么，信息熵选用m进制单位，即 m进制与二进制的关系是 ; [例2-3] 有一布袋内放100个球，其中70个球是红色的，30个球是白色的。若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量。 解: 设0表示摸出的是红球；1表示摸出的是白球,则这一随机事件的概率空间为 ; 2.熵函数及其性质 设r元基本离散信源X的信息熵为 从函数的角度看，信息熵又可看作是r个信源符号的概率分布的函数，可把(2-12)式表示为一般函数的形式 式(2-13)称为熵函数。 把信源X的r个符号的概率分布看作概率矢量P的r个分量，则熵函数又可表示为 可见信源X的信息熵可有三种不同的表示方法：当要指明是信源X，而不是其它信源的信息熵时，可采用的H（X）形式；当要表明是概率