第1章_信息论基础讲解.ppt

概率论基础 无条件概率、条件概率、联合概率的性质和关系 ⑷ ⑸ ⑹ 单符号离散信源的数学模型 (1) 信源的描述方法 (2) 单符号离散信源 (3) 单符号离散信源数学模型 （1）信源的描述方法 信源是信息的来源，是产生消息或消息序列的源泉。在通信系统中收信者在未收到消息以前，对信源发出什么消息是不确定的。 ① 离散信源：输出的消息常常是以一个个符号形式出现，这些符号的取值是有限的或可数的。 ? 单符号离散信源：只涉及一个随机事件，可用随机变量描述。 ? 多符号离散信源：每次输出是一个符号序列，序列中每一位出现哪个符号都是随机的，而且一般前后符号之间是有依赖关系的。可用随机矢量描述。 ② 连续信源：输出连续消息，可用随机过程描述。 （2）单符号离散信源 如果信源发出的消息是离散的、有限或无限可列的符号或数字，且一个符号代表一条完整的消息，则称这种信源为单符号离散信源。 单符号离散信源的实例 掷骰子每次只能是1,2,3,4,5,6中的某一个； 天气预报可能是晴、阴、雨、雪、风、冰雹… 中的一种； 二进制通信中传输的只是1、0两个数字； 投硬币等等。 这种符号或数字都可以看作某一集合中的事件，每个符号或数字（事件）都是信源中的元素，它们的出现往往具有一定的概率。 因此，信源又可以看作是具有一定概率分布的某一符号集合。 若信源的输出是随机事件X，其出现概率为P(X)，则它们所构成的集合，称为信源的概率空间或简称为信源空间。 (3) 单符号离散信源数学模型 单符号离散信源的数学模型就是离散型的概率空间： ? X代表随机变量，指的是信源整体 ? xi代表随机事件的某一结果或信源的某个元素 ? p(xi)=P(X=xi)，表示随机事件X发生某一结果xi的概率。 ? n是有限正整数或可数无限大 信源分类 根据样本空间X取值分布的不同情况，信源可分为以下类型。 离散信源：消息集X为离散集合。即时间和幅度取值都离散的信源。 连续信源：时间离散而幅度取值连续的信源，如温度，压力等； 波形信源：时间和幅度取值连续的信源，如语言、图像信源等。 连续信源和波形信源输出的消息都可以经过抽样和量化分别处理成时间和幅度取值都离散的消息，因此，本书中主要讨论离散信源的情况。--像数学中的sin，cos 根据信源的统计特性，信源又可分为两种类型 无记忆信源：X各时刻的取值相互独立。 有记忆信源：X各时刻的取值互相有关联，如中文句子中前后文字的出现是有依赖性的。英文字，T后面出现H，R的可能性较大，出现J，K，L，M，N的可能性极小，而根本不会出现字母Q，F，X。有记忆信源的数学模型通常采用联合概率空间来描述。 2.1 离散无记忆信源 1.离散无记忆信源 (Discrete Memoryless Source，简记为DMS)，其输出的是单个符号的消息，不同时刻发出的符号之间彼此统计独立，而且符号集中的符号数目是有限的或可数的。离散无记忆信源的数学模型为离散型的概率空间，即： p(ai )：信源输出符号消息ai的先验概率; 满足：0 ? p(ai) ? 1，1 ? i ? q 例子 1.二进制对称信源只能输出符号0或1，输出0的概率为p，输出1的概率为1-p，其概率空间可描述为 2.随机掷一个无偏骰子，可能出现的点数与其概率分布为 实际情况下，信源输出的消息往往不是单个符号，而是由许多不同时刻发出的符号所组成的符号序列。设序列由N个符号组成，若这N个符号取自同一符号集{ a1 , a2 , … , aq}，并且先后发出的符号彼此间统计独立，我们将这样的信源称作离散无记忆的N维扩展信源。其数学模型为N维概率空间： 每个符号 是对应于某一有N个ai组成的序列（各种长为N的符号序列），x = x1 x2 … xN ，xi ? { a1 , a2 , … , ak }，1 ? i ? N，序列集X = {a1a1… a1 , a1a1… a2 , … , akak… ak }，共有kN种序列，x ? X。 序列的概率q (x) = q (x1x2 … xN) = 2.离散无记忆的扩展信源 例子 书上例子P7 2.2 离散有记忆信源 汉字或英文字母组合成中、英文句子时，往往要受到语法、习惯用语、修辞等的制约，因此中、英文句子中前后出现的汉字、字母往往是有依赖性的。如英文字母T后面最常出现H和R，而根本不会出现Q，F，X。这种依赖性我们称作有记忆。 用联合概率空间{X, q (X )}来描述离散有记忆信源的输出。信源在i时刻发出什么符号与i时刻以前信源所发出的符号有关，即由条件概率p (xi?xi-1 xi-2… )确定。