关于Shannon信息论的几点讨论信息论与通信的几个基.pptVIP

关于Shannon信息论的几点讨论（一）—— 信息论与通信的几个基本问题 西安电子科技大学 ISN国家重点实验室 报告人：王育民 Tel: 8201016 E-mail: ymwang@ 2004年12月 Shannon信息论的几个基本问题 Shannon信息论的几个基本问题 信 源 编码器 信 道 译码器 信 宿 干扰源 图 1 通信系统 Shannon信息论的几个基本问题 Shannon信息论的几个基本问题 Shannon信息论的几个基本问题 Shannon信息论的几个基本问题 Shannon信息论的几个基本问题 Shannon信息论的几个基本问题 Shannon信息论的几个基本问题 Shannon信息论的几个基本问题 Shannon信息论的几个基本问题 二、Shannon信息论的几个基本概念 1. 通信和通信系统。 2. 信息 3. 信息量 4. 信息速率与率失真函数 5. 信源编码 6. 信道容量 7. 信道编码 Shannon信息论的几个基本问题 Shannon信息论的几个基本问题 通信系统的数学模型 信 源 编码器 信 道 译码器 信 宿 干扰源 通信系统模型 Shannon信息论的几个基本问题 通信系统的数学模型 ? 信源是产生消息的源，可以是人、生物、机器或其它事物；消息可以是文字、语言、图像等。它可以是离散的，也可以是连续的，但都是随机发生的，即在没有收到这些消息之前不可能确切地知道它们的内容，否则通信将失去意义。可以用随机变量或随机过程来描述消息。信源研究的主要问题是消息的统计特性和信源所产生消息中的信息速率。 ? 编码器是将信源发出的消息变换成适于信道传送的信号的设备。一般包含几个部分，如信源编码器、纠错编码器和调制器、加密器、隐密器、同步器等。 Shannon信息论的几个基本问题 Shannon信息论的几个基本问题 Shannon信息论的几个基本问题 Shannon信息论的几个基本问题 Shannon信息论的几个基本问题 Shannon信息论的几个基本问题 Shannon信息论的几个基本问题 Shannon信息论的几个基本问题 ? 信息是一个抽象的概念，但它可以定量地描述。信息、物质和能量被认为是构成一切系统的三大要素，它包含在其载体——消息（通信语言）或数据（计算机语言）之中，消息或数据是系统中传送(或存储、处理)的对象。 ? 消息是比较具体的概念，但也不是物理的，如语言、文字、数字、图像等。消息中载荷有信息，但同一信息可以由不同的消息载荷。例如，同一信息可以用不同类型的消息，语言、图像、文字等表达。 ? 信号是表示消息的物理量，如电信号可通过幅度、频率、相位的变化表示不同的消息。可以用不同类型的信号，如声、光、电等信号传递同一消息。 Shannon信息论的几个基本问题 ? 信息 消息 信号 ? 物质 材料 货物 ? 能量 能源 能流 Shannon信息论的几个基本问题 ? 在网通信情况下，可能有很多分开的信源、信道和信宿相互进行信息交换。为了研究网通信系统中的信息传输和处理问题，要对上面给出的单路系统进行拓广，而引入多用户通信系统，并将单路通信的信息论发展成为多用户信息理论，这是由Shannon所开创的[Shannon 1961]，在20世纪的70～80年代得到广泛研究的信息论的一个新分支。 Shannon信息论的几个基本问题 Shannon信息论的几个基本问题 Shannon信息论的几个基本问题 ⑴ 非平均互信息 Shannon信息论的几个基本问题 ⑵ 非平均自信息 Shannon信息论的几个基本问题 Shannon信息论的几个基本问题 ⑶ 平均自信息量——熵 Shannon信息论的几个基本问题 Shannon信息论的几个基本问题 Shannon信息论的几个基本问题 ⑷ 平均互信息量—