信息论概念集锦.docVIP

信息论之父－香农信息是事物运动状态或存在方式的不确定性的描述，是任何随机事件发生后所包含的内容，可测度的。 消息：是信息的载体，具体的，由符号、文字、数字、语声、图像等组成的序列； 信号：是消息的物理体现，具有物理性（如电信号、光信号、声音信号等）； 通信系统传输的是信号；信号是消息的载体；消息中包含信息 信息是可以存储，传递，度量，加工，共享，转化的。 通信系统模型的构成：信源，编码器，信道，译码器，信宿。 离散香农熵既反映了信源输出前的平均不确定性，也反映了信源输出后每个消息所提供的平均信息量。连续信源输出的信息量H(X)是一个无穷大量。 熵的基本性质：对称性，确定性H(1,0)=H(1,0,0) =0，非负性，扩展性 ，可加性独立H(XY) = H(X)+ H(Y) ，上凸性（极值性）等概率时熵最大。 H(X)：表示信源（信宿）中每个符号的平均信息量（信源熵\信宿熵）。 H(X|Y)：表示在输出端接收到Y的全部符号后，发送端X尚存的平均不确定性。这个对X尚存的不确定性是由于干扰引起的。信道疑义度(损失熵，含糊度) H(Y|X)：表示在已知X的全部符号后，对于输出Y尚存的平均不确定性。信道散布度(噪声熵) H(XY)：表示整个信息传输系统的平均不确定性（联合熵）。 H(XY) = H(X) + H(Y|X)，H(XY) = H(Y) + H(X|Y)，H(X) = H(X|Y)，H(Y) = H(Y|X)，H(XY) = H(X) + H(Y) 条件熵H(XN|X1X2…XN-1)，HN (X)随N的增加是递减的，HN(X) ( H(XN|X1X2…XN-1)，H( 存在。 连续信源的差熵：可加性：h(XY)=h(X)+h(Y|X)=h(Y)+h(X|Y)， h(Y|X)=h(Y)， h(X|Y) = h(X)，h(XY) = h(X) + h(Y)；凸性与极值性：p(x)的上凸函数；可为负值。 最大熵定理：如果Ｐ是有限区间上的连续型概率密度族，那么它的最大熵分布为均匀分布。半开直线上的最大熵）对半开直线上的随机变量，如它的数学期望值固定为（0，）+无穷）那么它的最大熵分布为指数分布；全直线上的最大熵）对全直线上的随机变量，如果它的期望与方差分别固定,那么它的最大熵分布为正态分布,。 冗余度( 越大，实际熵H( 越小。说明信源符号之间的依赖关系越强，即符号之间的记忆长度越长。冗余度( 越小，表明信源符号之间依赖关系越弱，即符号之间的记忆长度越短。当冗余度等于零时，信源的信息熵就等于最大值H0 ，这表明信源符号之间不但统计独立无记忆，而且各符号还是等概率分布。 香农第一定理: 离散无记忆信源S的N次扩展信源 SN = {(1,(2 ,…,( qN}，其熵为H(SN)，并有码符号X={x1,x2,…,xr}。对信源 SN 进行编码，总可以找到一种编码方法，构成惟一可译码，使信源 S 中每个信源符号所需的平均码长. 平均互信息:对称性, 非负性, 极值性即 I(X;Y) = H(X), 凸状性. 意义： 接收到Y前后关于X不确定性的减少，即从Y中获得的关于X的平均信息量. 整个系统的先验不确定度H(Y)+H(Y)与后验不确定度H(X,Y)之差，即通信前后整个系统不确定度的减少。 信道容量C; 由于平均互信息I(X;Y)是输入随机变量的∩型凸函数 ，所以对一固定的信道，总存在一种信源，使传输每个符号平均获得的信息量最大。即存在一个最大的信息传输率. 准对称信道: 每行都是第一行元素的排列，每列并不都是第一列元素的排列，但是可以按照信道矩阵的列将信道矩阵划分成若干可排列的子矩阵. 对称信道 : 每行都是第一行元素的排列，而且每列都是第一列元素的排列. 强对称信道 : 错误分布是均匀的, 信道输入与输出消息（符号）数相等. 香农第二定理：若有一离散无记忆平稳信道，其容量为C，输入序列长度为L，只要待传送的信息率RC，总可以找到一种编码，当L足够长时，译码错误概率P(( ，(为任意大于零的正数。反之，当RC时，任何编码的P(必大于零，当L→∞时，P(→1 。 香农第三定理：设R(D)为一离散无记忆信源的信息率失真函数，并且有有限的失真测度D。对于任意D 大于等于零，fai大于零，以及任意长的码长k，一定存在一种信源编码C，其码字个数为，使编码后码的平均失真度。 树根——码字起点； 树枝数(——码的进制数；节点——码字或码字的一部分； 终端节点——码字；阶数——码长；非整树——变长码；整树——等长码。 香农编码：1）将信源消息符号按其出现的概率大小依次排列（2）确定满足下列不等式的整数码长 （3）为了编成唯一可译码，计算前i-1个消息的累加概率 （4）将累加概率qi变换成二进制小数。（5）取qi二进制的小数点后li位即为该消