信息论inanutshell.ppt

信息论 --- 信息的概念 信息是什么？ 信息论研究什么 信息的量的度量 – 熵 基本假说（不说 有点扯淡的话题） 应用 信息论 --- 信息是什么？ 确定性的增加---逆Shannon信息定义 物质、能量、信息的标示---Wiener信息定义的逆 事物及其属性标识的集合 --- 其它 客观事物状态和运动特征的一种普遍形式（客观世界中大量地存在、产生和传递着以这些方式表示出来的各种各样的信息） 信息论 --- 研究什么（1） 信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。 信息论是一门用数理统计方法来研究信息的度量、传递和变换规律的科学。它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。 信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。 信息论 --- 研究什么（2） 狭义信息论是一门应用数理统计方法来研究信息处理和信息传递的科学。它研究存在于通讯和控制系统中普遍存在着的信息传递的共同规律，以及如何提高各信息传输系统的有效性和可靠性的一门通讯理论。 一般信息论主要是研究通讯问题，但还包括噪声理论、信号滤波与预测、调制与信息处理等问题。 广义信息论不仅包括狭义信息论和一般信息论的问题，而且还包括所有与信息有关的领域，如心理学、语言学、神经心理学、语义学等。 信息论 --- 熵的概念(1) 香农于1948年发表于《贝尔系统技术学报》上的论文《A Mathematical Theory of Communication》（通信的数学理论）作为现代信息论研究的开端。这一文章部分基于哈里·奈奎斯特和拉尔夫·哈特利先前的成果。在该文中，香农给出了信息熵（以下简称为“熵”Entropy）的定义： H(x)=E[I(xi)]=E[ log(1/p(xi)) ] =-∑p(xi)log(p(xi)) (i=1,2,..n) 信息论 --- 熵的概念(2) Shannon 指出，任何信息都存在冗余，冗余大小与信息中每个符号（数字、字母或单词）的出现概率或者说不确定性有关。 熵度量的是消息中所含的信息量，其中去除了由消息的固有结构所决定的部分，比如，语言结构的冗余性以及语言中字母、词的使用频度等统计特性 Shannon 借鉴了热力学的概念，把信息中排除了冗余后的平均信息量称为“信息熵”，并给出了上述数学表达式 一般而言，当一种信息出现概率更高的时候，表明它被传播得更广泛，或者说被引用的程度更高。可以认为，从信息传播的角度来看，信息熵可以表示信息的价值。 我们就有一个衡量信息价值高低的标准，可以做出关于知识流通问题的更多推论。 信息论 --- 熵的概念(3) 信息熵：信息的基本作用就是消除人们对事物的不确定性 一个变量的不确定性越大，熵也就越大，把它搞清楚所需要的信息量也就越大 一个系统越是有序，信息熵就越低；反之，一个系统越是混乱，信息熵就越高 信息熵也可以说是系统有序化程度的一个度量。凡是导致随机事件集合的肯定性、组织性、法则性或有序性等增加或减少的活动过程，都可以用信息熵的改变量这个统一的标尺来度量。 信息论 --- 熵的概念(4) 互信息(Mutual Information)是另一有用的信息度量，它是指两个事件集合之间的相关性。两个事件X和Y的互信息定义为： 　　I(X,Y) = H(X) + H(Y) - H(X,Y) 其中H(X,Y) 是联合熵(Joint Entropy)，定义为： 　　H(X,Y) = - ∑ p(x,y)logp(x,y) 　　 信息论 – 应用 编码学 密码学与密码分析学 数据传输 数据压缩 检测理论 估计理论