第二章节信源-信源熵.pptVIP

;复习:;2.1信源及分类 2.2单符号离散信源 2.3多符号离散信源 2.4连续信源 2.5冗余度;概率论知识复习;事件域： 基本事件和复杂事件是样本空间的子集，所有子集的全体。 概率空间： 三要素 — 样本空间、事件域(集合)、概率。 事件A的概率： A中样本点数与样本空间中样本点之比。 先验概率： 根据以往的统计规律得到的。;必须掌握的概率论知识;3)全概率： 设 B1 , B2 , … 是一列互不相容的事件(B i B j = 0）， 且有B1∪B2∪…=Ω（样本空间）； P(Bi)＞0,i=1，2…，则对任一事件A，有： ;4)贝叶斯(Bayes)公式: 设B1,B2 , … 是一列互不相容的事件(B i B j = 0）， 且有B1∪B2∪… =Ω（样本空间）； p(Bi)＞0 ，i=1，2，…，则对任一事件A，有： ;第2章 信源及信源熵 ; 信源发出了消息，消息载荷着信息，信息具有不确定性。从数学分析上看，由于消息具有的不确定性，因此信源可以看成是产生随机变量、随机序列（矢量）和随机过程的源。 在实际通信中最常见的信源有话音、文字、图像、数据等。 ; 从信源发出的消息在时间上和幅度上的分布来考虑分类，可将其分为离散信源和连续信源。 离散信源：指发出在时间和幅度上都是离散 分布的离散消息的信源。 如：文字、数字、数据、字母等。; 离散信源又可分为无记忆离散信源和有记忆离散信源。 无记忆离散信源:发出的各个符号是相互独立 的；各符号序列中的各个符号 之间是没有统计关联的关系。 各个符号的出现概率是它自身 的先验概率。 无记忆离散信源包含发出单符号的无记忆离散信源和发出符号序列的无记忆离散信源。 ;有记忆离散信源: 发出的各个符号是相关 联的。表述起来很困难。 有记忆离散信源又可分为发出符号序列的有记忆离散信源和发出符号序列的马尔可夫信源。; 当记忆长度为m+1时称这种记忆信源为m阶马尔可夫信源，即信源每次发出的符号与前m个符号有关，与更前面的符号无关。假设m阶马尔可夫信源输出的随机序列为X=X1 X2…Xi-1Xi …XN。在这序列中某i时刻的随机变量X取什么符号只与前m个随机变量Xi-1 Xi-2… Xi-m取什么符号有关，与其更前面的随机变量以及后面的随机变量取什么符号都无关。这样就可以用马尔可夫链来描述此信源。 ; 连续信源：指发出在时间和幅度上都是连续分布 的连续消息（模拟消息）的信源。 如：语言、图像、视频等。;2.2单符号离散信源;2.2单符号离散信源; 注意： 大写字母X、Y、Z等代表随机变量，指的是信源的整体；而带有下标的小写字母ai，bj，ck等代表随机事件的某一结果或信源的某个元素。; 【例2.2-1】掷一颗质地均匀的骰子研究其下落后朝上一面的点数，每次实验结果必然是1，2…6点中的某一个面朝上。信源输出的消息是“朝上面是一点”，“朝上面是两点”，…“朝上面是六点等，六6个不同的消息。每次实验只能出现一种消息，出现哪一种消息是随机的，但必是六6种情况中的一种。用ai,(i=1,…,6)来表示这些消息，得到信源的样本空间为符号集 A=｛a1,a2,a3,a4,a5,a6｝。 ; 各消息都是等概率出现的，用一个离散型随机变量X来描述这个信源的输出的消息。这个随机变量X的样本空间就是符号集A，X的概率分布就是各消息出现的先验概率： p(a1)=p(a2)=p(a3)=p(a4)=p(a5)=p(a6)=1/6, 信源的数学模型为:; 2.2.2 自信息量 1.自信息量定义 定义: 一个随机事件发生某一结果后所带来的信息量称为自信息量，简称自信息。; 当随机事件ai发生以前，I(ai)表示事件ai的不确定性； 当随机事件ai发生以后，I(ai)表示事件ai所含有(或所提供)的信息量。 注意:信息量是数值，