信息论知识点_山东科技大学.docx

第一章：1、信息论的诞生:香农1948年《通信的数学理论》2、信息科学和材料、能源科学一起被称为当代文明的“三大支柱”3、信息、消息和信号区别与联系：消息中包含信息，是信息的载体。信号携带着消息，它是消息的运载工具（物理体现）。信息是由具体的物理信号、数学描述的消息的内涵。而信号则是抽象信息在物理层表达的外延；消息则是抽象信息在数学层表达的外延。4、什么是信息？关于信息的科学定义，到目前为止，国内外已有不下百余种流行的说法，它们都是从不同的侧面和不同的层次来揭示信息的本质的。1928年，美国数学家哈特莱(Hartley) 在《贝尔系统电话杂志》上发表了一篇题为《信息传输》的论文。他认为“信息是选择的自由度”。5、信息的特质：信息是独立于物质和能量之外存在于客观世界的第三要素。6、1948年，香农(C.E.Shannon)发表了一篇著名的论文，“通信的数学理论”。他从通信系统传输的实质出发，对信息作了科学的定义，并进行了定性和定量的描述。信息是事物运动状态或存在方式的不确定性的描述。7、通信系统模型8、信源：产生消息和消息序列的来源。9、消息：可以是离散的，也可以是连续的(数据、文字、语言、图像)，通常信源的消息序列是随机发生的，因此要用随机变量来描述。10、干扰源加性干扰:信道的输出是输入和干扰的叠加；乘性干扰：信道的输出信号可看成输入信号和一个时变参量相乘的结果。11、香农定义信息的局限性定义的出发点是假定事物状态可以用一个以经典集合论为基础的概率模型来描述，在实际中要寻找一个合适的概率模型往往是非常困难的。12、信息的测度：信息量与不确定性消除的程度有关。某一事物状态的不确定性的大小，与该事物可能出现的不同状态数目以及各状态出现的概率大小有关。既然不确定性的大小能够度量，所以信息是可以测度的。13、样本空间：所有可能选择的消息的集合概率空间：可用[X，P]来表示先验概率：符号ai作为消息的概率----P(ai)自信息：ai 本身携带的信息量后验概率：接收端收到消息(符号) bj 后而发送端发的是ai 的概率 P(ai/bj) 互信息：收信者获得的信息量----先验的不确定性减去尚存在的不确定性14、信息具有以下特征：(1)信息是可以识别、存贮、传递、加工、共享的(2)信息的载体是可以转换的15、研究信息论目的是提高信息系统的可靠性、有效性、必威体育官网网址性和认证性，以便达到系统最优化；16、（1）狭义信息论(经典信息论)：研究信息的测度、信道容量及信源和信道编码理论等问题，又称香农信息论。（2）一般信息论(通信理论)。（3）广义信息论17、信息论是应用概率论、随机过程、数理统计和近代代数的方法，来研究广义的信息传输、提取和处理系统中一般规律的学科。18、1924年奈奎斯特(H.Nyquist)发表“影响电报速率因素的确定”。解释了信号带宽和信息速率之间的关系。19、1928年哈特莱(R.V.Hartley) 的“信息传输”一文研究了通信系统传输信息的能力，并给出了信息度量的方法。20、1936年，阿姆斯特朗(Edwin·Armstrong)指出增大带宽可以使抗干扰能力加强，并根据这一思想提出了宽频移的频率调制方法。21、1946年柯切尔尼柯夫的学位论文“起伏噪声下的潜在抗干扰理论”，根据最小错误概率准则和最小均方误差准则研究了离散和连续信道的最佳接收问题22、 1948年香农的权威性长文“通信的数学理论”，讨论了信源和信道特性。23、 1949年香农“噪声中的通信”，上述两篇文章奠定了现代信息论的理论基础。24、现状：在香农理论基础上给出的最佳噪声通信系统模型近年来正在成为现实；在噪声中信号过滤与检测基础上发展起来的信号检测理论和抗干扰编码基础上发展起来的编码理论已成为现代信息论的两个重要分支；此外，模糊信息处理、相对信息处理、主观信息处理、智能信息处理、自动化信息控制等大量崭新课题的研究也相继展开，使信息理论的面貌一新，并将大大促进信息科学的发展。第二章：1、平稳随机序列信源：信源输出的消息用N维随机矢量X＝(X1,X2,…,XN)描述，且随机矢量X 的各维概率分布都与时间起点无关----平稳！(1)离散平稳信源(2)连续平稳信源(3)无记忆(独立)离散平稳信源(4)有记忆信源(5)m阶马尔可夫信源2、离散无记忆平稳信源：信源发出的符号都相互统计独立3、有记忆信源：信源在不同时刻发出的符号之间是相互依赖的。需在N维随机矢量的联合概率分布中，引入条件概率分布来说明它们之间的关联。4、自信息：设离散信源X的概率空间为：称ai发生所含有的信息量为ai 的自信息量,定义为：I(ai)代表两种含义：(1)当事件ai发生以前，表示事件ai发生的不确定性(2)当事件ai发生以后，表示事件ai所提供的信息量5、定义自信息的数学期望为平均自信息量H