信息论速成2课件.ppt

第三章 离散信源; 通信的根问题是在接收端尽可能精确地再现出信源的输出，本章讨论如何描述信源的输出，也就是如何计算信源产生的信息量。 §3.1 信源的数学模型和分类 一、信源的数学模型 1、信源：信息的发源地，可以是人、事物、机器等。信源的输出就是信息。 释：通信中接收者在未接到信息时，对信源发出什么消息是不确定的，所以信源的输出是随机的，可以用随机变量(离散信源)或随机过程(连续信源)描述。;2、研究内容 信源输出(产生消息)的随机性(不确定性)——信息熵 ＊不研究信源内部结构； ＊不研究信源如何产生各种不同的消息。 3、数学模型 就数学意义来讲，信源就是一个概率场。;①、离散信源 信源输出是离散的消息符号，可用离散随机变量描述。最简单的离散信源可用一维离散随机变量来描述的，其数学模型为 其中 且 通常q为有限正整数，也可为可数无穷大。;第三章 离散信源;4、信源分类 ①、从输出消息的联系上分 ＊无记忆信源：输出符号X1 X2…XN之间相互无影响； ＊有记忆信源：输出符号X1 X2…XN之间彼此依存。 ②、从输出时间上分 ＊离散信源：信源输出离散的随机变量； ＊时间离散的连续信源：信源输出连续的随机变量； ＊随机波形信源：信源输出随机过程； ＊混合信源：信源输出既有离散量，又有连续量。;5、扩展的离散信源 实际上的离散信源输出一个随机矢量X。 其中Xi是随机变量;①、离散无记忆扩展信源 ＊消息符号之间彼此统计独立； ＊消息符号具有相同的概率分布。;第三章 离散信源;2、简单离散无记忆信源的信息熵 ①、自信息量 简单离散无记忆信源中，消息符号ai的自信息量为 ②、信息熵 简单离散无记忆信源的信息熵为;第三章 离散信源;第三章 离散信源;第三章 离散信源;第三章 离散信源;第三章 离散信源;第三章 离散信源;第三章 离散信源;第三章 离散信源;第三章 离散信源;第三章 离散信源;第三章 离散信源;联合熵与条件熵的关系 同理可得;第三章 离散信源;第三章 离散信源;第三章 离散信源;第三章 离散信源;第三章 离散信源;第三章 离散信源;第三章 离散信源;第三章 离散信源;第三章 离散信源;第三章 离散信源;第三章 离散信源;第三章 离散信源;第三章 离散信源;第三章 离散信源;第三章 离散信源;第三章 离散信源;第三章 离散信源;第三章 离散信源;第三章 离散信源;第三章 离散信源;4、m阶马尔科夫信源熵H(X1X2…XN) 通过影射X1X2…Xm ——＞Sm+1 X2X3…Xm+1 ——＞Sm+2 … XN-m+1XN-m+2…XN ——＞SN+1 将序列X1X2…XN变成Sm+1Sm+2…SN+1 *序列X1X2…XN中Xi与前m个符号有关：m阶； *序列Sm+1Sm+2…SN+1中Si与前面“符号”有关：一阶； *序列X1X2…XN与Sm+1Sm+2…SN+1 熵一样。 所以有：H(X1X2…XN) = H(Sm+1Sm+2…SN+1) = H(Sm+1)+ H(Sm+2|Sm+1) …+H(SN+1|SN); 对于齐次马氏链 与时刻i无关，记作列向量h(仅与一步转移矩阵有关) 而且 所以 ;若Sm+1处于稳态;第三章 离散信源;第四章 离散信道;第四章 离散信道;第四章 离散信道;第四章 离散信道;第四章 离散信道;第四章 离散信道;第四章 离散信道;第四章 离散信道;第四章 离散信道;第四章 离散信道;第四章 离散信道;第四章 离散信道;第四章 离散信道;第四章 离散信道;第四章 离散信道;第四章 离散信道;第四?? 离散信道;第四章 离散信道;第四章 离散信道;第四章 离散信道;第四章 离散信道;第四章 离散信道;二、级联信道：信道Ⅰ，信道Ⅱ满足: 信道Ⅰ ：输入X 取值 输出Y 取值 传递概率 信道Ⅱ ：输入Y 取值 输出Z 取值 传递概率 则称此信道I、II形成级联信道。;第四章 离散信道;第四章 离散信道;第四章 离散信道;第四章 离散信道;第四章 离散信道;第四章 离散信道;第四章 离散信道;第四章 离散信道;第四章 离散信道;第四章 离散信道;第四章 离散信道;第四章