《信息论与编码》 课件 第2章信源与信息熵.pptx

1;2;2.1.1信源分类;2.1.1信源分类;5;2.1.2信源的数学模型;2.1.2信源的数学模型;8;9;2.1.2信源的数学模型;11;12;13;14;平稳与齐次区别

若Q和T为任意两个时刻，平稳满足

;16;17;18;19;20;2.1.3马尔科夫信源的稳态分布;2.1.3马尔科夫信源的稳态分布;23;24;解：由于当前时刻的输出，取决于当前时刻的输入，以及前一个时刻的输出，所以输出序列是一个一阶马尔可夫链。对于二进制信源，前一个时刻的输出共有两种（0或者1），所以状态共有两种：“0”状态和“1”状态。

即转移概率矩阵为：

其状态转移图为：

;2.1.3马尔科夫信源的稳态分布;解：对二阶马尔可夫链，其状态共有四种，分别为：S=(00，01，10，11)，根据符号条件概率表2-1，可以写出符号条件概率矩阵为：

可得状态转移概率矩阵为

;28;状态转移图：;30;2.1.3马尔科夫信源的稳态分布;32;33;自信息量与不确定度

自信息量：符号出现后，提供给收信者的信息量；

不确定度：符号出现前，所含有的不确定性。

二者数量上相等，物理含义不同。;35;例：假设一次掷两个各自均匀、互相不可区分但又不相关的骰子。如(A)、(B)分别表示：仅有一个骰子是3；至少有一个骰子是4；试计算(A)、(B)发生后提供的信息量。;37;例题;39;例：某高三毕业生中，25%的女生考取了大学。在考取大学的女生中75%居住在城区，而高三毕业生中50%住在城区。假如我们得知“住在城区的女生考取了大学”的消息，试问获取了多少信息量？;41;例2-4某二进制数字通信系统如图2-5所示。发送端信源X为二进制信源{0，1}，其概率空间为

由于通信信道中有干扰和噪声，导致接收端判决结果除了“0”和“1”以外，还有一种未知的状态（既不是“0”也不是“1”），我们表示为“？”状态。设信道的符号转移概率为：

求信源熵H(X)、条件熵H(X/Y)和H(Y/X)，以及信源熵H(Y)。;解：（1）信源熵H(X)可直接由公式求得

（2）根据条件熵公式，求条件熵H(Y/X)，，需要知道条件概率p(y=0/x=0)、p(y=1/x=0)、p(y=？/x=0)和p(y=0/x=1)、p(y=1/x=1)、p(y=？/x=1)；以及联合概率p(x=0,y=0)、p(x=0,y=1)、p(x=0,y=？)和p(x=1，y=0)、p(x=1,y=1)、p(x=1,y=？)等：

p(x=0,y=0)=p(x=0)p(y=0/x=0)=1/2

p(x=0,y=1)=p(x=0)p(y=1/x=0)=0

p(x=0,y=?)=p(x=0)p(y=?/x=0)=1/6

p(x=1,y=0)=p(x=1)p(y=0/x=1)=0

p(x=1,y=1)=p(x=1)p(y=1/x=1)=1/6

p(x=1,y=?)=p(x=1)p(y=?/x=1)=1/6

则由条件熵公式可得：;（3）、根据条件熵公式，求条件熵H(X/Y)，，需要知道条件概率p(x=0/y=0)、p(x=0/y=1)、p(x=0/y=？)和p(x=1/y=0)、p(x=1/y=1)、p(x=1/y=？)；以及联合概率p(x=0,y=0)、p(x=0,y=1)、p(x=0,y=？)和p(x=1,y=0)、p(x=1,y=1)、p(x=1,y=?)等：

故

;（4）由

;46;例题;48;49;50;51;52;53;54;55;56;递增性;58;可加性

一般式

当X、Y相互独立时

熵的可加性可这样理解：复合事件集合的平均不确定性为各个分事件集合的平均不确定性的和。;递增性;61;2.3离散序列信源熵;;消息熵

平均符号熵

单位：比特/符号

;65;66;67;68;69;70;例2-8求马氏链平均符号熵（三个状态）;;73;74;75;76;2.8连续信源最大熵定理;对于定义域为有限的随机变量X，当它是均匀分布

时，具有最大熵。

变量X的幅度取值限制在[a，b]，当pX(x)=1/(b-a)，

则Hc(X)=log(b-a)

峰值功率受限为P，则输出信号的瞬时电压限定在?P1/2，等价于取值幅度受限。;79;最大熵定理（总结）

无约束条件的最大熵不存在

限峰功率最大熵

限平均功率最大熵;81;82;本章小结;84;85