信息论与编码原理.pdfVIP

信息论与编码原理 （第二章） ────────────── 信源及其信息量 •11 8•/3/202 第第二二章章 信信源源及及其其信信息息量量 本本章章重重点点：：信信源源的的统统计计特特性性和和数数学学模模型型、、各各类类信信源源的的信信息息测测 度度——熵熵及及其其性性质质 22..11 单单符符号号离离散散信信源源 22..22 扩扩展展信信源源 22..33 连连续续信信源源 22..44 离离散散无无失失真真信信源源编编码码定定理理 22..55 小小结结 22• 8• /3/202 22..11单单符符号号离离散散信信源源 22..11..11 离离散散变变量量的的自自信信息息量量 22..11..22 信信息息熵熵 22..11..33 熵熵的的基基本本性性质质和和定定理理 22..11..44 互互信信息息量量 22..11..55 熵熵之之间间的的关关系系 33 8/3/202 22..11..11 离离散散变变量量的的自自信信息息量量 2.1 信信息息度度量量的的方方法法：：最最常常用用的的方方法法是是统统计计度度量量。。 单 在在通通信信系系统统中中收收信信者者在在未未收收到到消消息息 前前，，对对信信源源发发出出什什么么消消息息是是不不确确 符 号 定定的的。。 离 不不确确定定性性可可 用用概概率率论论与与随随机机过过程程来来描描述述。。 散 信 香香农农信信息息论论的的基基本本假假说说：：用用随随机机变变量量研研究究信信息息。。 源 ((11)) 信信源源的的描描述述方方法法 ((22)) 单单符符号号离离散散信信源源数数学学模模型型 ((33)) 自自信信息息量量和和条条件件自自信信息息量量 44• 8• /3/202 22..11..11 离离散散变变量量的的自自信信息息量量 2.1 ((11))信信源源的的描描述述方方法法 单 符 ①①离离散散信信源源：：输输出出的的消消息息常常常常是是以以一一个个个个符符号号形形 出出现现，，这这 号 离 些些符符号号的的取取值值是是有有限限的的或或可可数数的的。。 散 信 ·单单符符号号离离散散信信源源：：只只涉涉及及一一个个随随机机事事件件，，可可用用随随机机变变量量描描 源 述述。。 ·扩扩展展信信源源//多多符符号号离离散散信信源源：：每每次次输输出出是是一一个个符符号号序序列列，， 序序列列中中每每一一位位出出现现哪哪个个符符号号都都是是随随机机的的，，而而且且一一般般前前后后符符 号号之之间间是是有有依依赖赖关关系系的的。。可可用用随随机机矢矢量量描描述述。。 ②②连连续续信信源源：：输输出出连连续续消消息息。。可可用用随随机机过过程程描描述述。。 55• 8•/3/202 22..11..11 离离散散变变量量的的自自信信息息量量 2.1 ((22)) 单单符符号号离离散散信信源源数数学学模模型型 单 符 单单符符号号离离散散信信源源的的数数学学模模型型就就是是离离散散型型的的概概率率空空间间：： 号 离 散 信 源 ·XX 随随机机变变量量，，