[老师整理的信息论知识点.doc

Chp02知识点： 自信息量： 1） 2）对数采用的底不同，自信息量的单位不同。 2----比特（bit）、e----奈特（nat）、10----哈特（Hart） 3）物理意义：事件发生以前，表示事件发生的不确定性的大小；事件发生以后，表示事件所含有或所能提供的信息量。 平均自信息量（信息熵）： 1） 2）对数采用的底不同，平均自信息量的单位不同。 2----比特/符号、e----奈特/符号、10----哈特/符号。 3）物理意义：对信源的整体的不确定性的统计描述。 表示信源输出前，信源的平均不确定性；信源输出后每个消息或符号所提供的平均信息量。 4）信息熵的基本性质：对称性、确定性、非负性、扩展性、连续性、递推性、极值性、上凸性。 互信息： 1） 2）含义：已知事件后所消除的关于事件的不确定性，对信息的传递起到了定量表示。 平均互信息：1）定义： 2）性质： 联合熵和条件熵： 各类熵之间的关系： 数据处理定理：  Chp03知识点： 依据不同标准信源的分类： 离散单符号信源： 1）概率空间表示： 2）信息熵：，表示离散单符号信源的平均不确定性。 离散多符号信源：用平均符号熵和极限熵来描述离散多符号信源的平均不确定性。 平均符号熵： 极限熵（熵率）： （1）离散平稳信源（各维联合概率分布均与时间起点无关的信源。） （2）离散无记忆信源：信源各消息符号彼此互不相关。 ①最简单的二进制信源：，信源输出符号只有两个：“0”和“1”。 ②离散无记忆信源的N次扩展：若信源符号有q个，其N次扩展后的信源符号共有qN个。 离散无记忆信源X的N次扩展信源XN的熵：等于信源X的熵的N倍，表明离散无记忆信源X的N次扩展信源每输出1个消息符号（即符号序列）所提供的信息熵是信源X每输出1个消息符号所提供信息熵的N倍。 离散无记忆信源X的N次扩展信源XN极限熵（熵率）为： （3）离散有记忆信源—》马尔可夫信源—》时间和状态都是离散的马尔可夫过程称为马尔可夫链 1）用分布律描述： 2）转移概率：即条件概率。 3）转移概率矩阵：用表示n步转移概率矩阵。且，，会写出马氏链的一步转移概率矩阵，会画状态转移图，能够求出n步转移概率矩阵。 4）遍历性的概念： 求解马氏信源的遍历性，即找一正整数m，使m步转移概率矩阵中无零元。 求解马氏遍历信源的信息熵步骤： 根据题意画出状态转移图，判断出是平稳遍历的马尔可夫信源； 根据状态转移图写出一步转移概率矩阵，计算信源的极限分布即是求解方程组： 根据一步转移概率矩阵和极限概率W计算信源的信息熵：极限熵H∞ 等于条件熵Hm+1。（m阶马尔可夫信源的熵率） 信源的相关性和剩余度：， 用来衡量信源输出的符号序列中各符号之间的依赖程度。 当剩余度＝0时，信源的熵＝极大熵H0，表明信源符号之间： (1)统计独立无记忆;(2)各符号等概分布。 连续信源： 微分熵： 定义： 物理意义： 连续信源的联合熵和条件熵 几种特殊连续信源的熵： 均匀分布的连续信源的熵： 高斯分布的连续信源的熵：【概率密度函数：】 指数分布的连续信源的熵： 【概率密度函数： 】 最大连续熵定理： 限峰值功率的最大熵定理（输出幅值受限）：均匀分布 限平均功率的最大熵定理（输出平均功率受限）：高斯分布 熵功率及连续信源的剩余度 \ Chp04知识点： 一些基本概念： 什么是信道？信道的作用，研究信道的目的。 一般信道的数学模型，信道的分类（根据输入输出随即信道的特点，输入输出随机变量个数的多少，输入输出个数，有无干扰，有无记忆，信道的统计特性进行不同的分类） 前向概率p(yj /xi)、后向概率/后验概率p(xi /yj)、先验概率p(xi) 。 几个熵的含义： H(X) ---表示信源的不确定性； H(X|Y)--- 信道疑义度，表示如果有干扰的存在，接收端收到Y后对信源仍然存在的不确定性。也称为损失熵，表示信源符号通过有噪信道传输后所引起的信息量的损失。 H(Y|X)--- 噪声熵，它反映了信道中噪声源的不确定性。 离散信道： 单符号离散信道： 信道模型的表示：传递矩阵（有传递(条件、转移)概率p(yj|xi)组成）； 信道的信息传输率：R=I(X;Y)—表示接收到输出符号集Y后所消除的对于信源X的不确定性，也就是获得的关于信源的信息。它是平均意义上每传送一个符号流经信道的信息量。 关于I（X;Y）的性质：I(X;Y)是信源概率分布p(xi)和信道转移概率p(yj|xi)的二元函数： 那么，当信道特性p(yj /xi)固定后，I(X;Y)随