信息论总结与复习.ppt

信息熵的特点非负性：H(X)≥0对称性：H(p1p2……)=H(p2p1……)极值性：离散信源各符号等概率时出现极大值：H0=logm信息论基础1.1信源的信息理论4、离散序列的信息熵（1）无记忆信源的联合熵与单符号熵：H(X1X2……XN)=H(X1)+H(X2)+H(X3)+……+H(XN)=NH(X1)（2）有记忆信源的联合熵与条件熵：H(X1X2……XN)=H(X1)+H(X2|X1)+H(X3|X1X2)+……+H(XN|X1X2……XN-1)（3）平均符号熵：HN=H(X1X2……XN)/N第一部分、信息论基础1.1信源的信息理论（4）序列信息熵的性质：《1》条件熵不大于无条件熵，强条件熵不大于弱条件熵：H(X1)≥H(X2|X1)≥H(X3|X1X2)≥………≥H(XN|X1X2……XN-1)《2》条件熵不大于同阶的平均符号熵:HN≥H(XN|X1X2……XN-1)《3》序列越长，平均每个符号的信息熵就越小：H1≥H2≥H3≥……≥HN总之：H0H1≥H2≥H3≥……≥HN≥H∞（无记忆信源取等号。）第一部分、信息论基础1.1信源的信息理论第一部分、信息论基础1.1信源的信息理论5、马尔可夫信源的信息熵（1）马尔可夫信源的数学模型和定义：N阶马尔可夫信源的关联长度是N+1，N+2以外不关联。（2）状态、状态转移与稳态概率：状态、状态转移、状态转移图、稳定状态、稳态方程（3）稳态符号概率：结论：N阶马氏信源稳态信息熵(即极限熵)等于N+1阶条件熵。（4）稳态信息熵：[例1]已知二阶马尔可夫信源的条件概率：p(0|00)=p(1|11)=0.8；p(0|01)=p(1|10)=0.6；求稳态概率、稳态符号概率、稳态符号熵和稳态信息熵。解：二阶马氏信源关联长度=3，状态由2符号组成，共有4个状态，分别为：E1=00；E2=01；E3=10；E4=11；已知的条件概率即是：p(0|E1)=p(1|E4)=0.8；p(0|E2)=p(1|E3)=0.6；根据归一化条件可求出另外4个状态符号依赖关系为：p(1|E1)=p(0|E4)=0.2；p(1|E2)=p(0|E3)=0.4；第一部分、信息论基础1.1信源的信息理论E4E3E2E10:0.80:0.40:0.21:0.81:0.21:0.41:0.60:0.6稳态方程组是：第一部分、信息论基础1.1信源的信息理论可解得：稳态信息熵为：=0.895bit/符号信息论基础1.1信源的信息理论稳态符号概率为：因此，稳态符号熵=1bit/符号。信息论基础1.2信道的信息理论1.2信道的信息理论:信道的数学模型：进入广义信道的符号为ai∈A；从广义信道出来的符号bj∈B；其前向概率为pij=p(bj|ai)。传输矩阵:2、信道的分类：（1）无噪无损信道：ai与bj是一一对应的，p(bj|ai)=δij，传输矩阵为单位方阵。（2）有噪有损信道：ai与bj多-多对应的，传输矩阵中所有的矩阵元都有可能不为零。特例是BSC信道。（3）有噪无损信道分组一对多（弥散），传输矩阵应具有一行多列的分块对角化形式。（4）无噪有损信道：分组多对一（归并），其传输矩阵应具有多行一列的分块对角化形式。（5）对称信道：传输矩阵的各行都是一些相同元素的重排，各列也是一些相同元素的重排。第一部分、信息论基础1.2信道的信息理论第一部分、信息论基础1.2信道的信息理论3、信道有关的信息熵：（1）信源熵(先验熵)：（2）噪声熵(散布度)：（3）联合熵：（4）接收符号熵：（5）损失