信息论课件-绪论精选.ppt

信 息 论 课程概况 目的： 了解学习信息论的作用、方法与意义，对信息论的研究方法和成果有广泛的基本认识，学会应用，为进一步研究打下基础 特点： 以信息理论为中心，区别与“信源编码”、“信道编码” 以概念和物理意义为主，数学推导尽量放到课外 结合通信系统实际应用 教学计划 参考书目 其它有关事项 讲课:（概念、方法） 自学:（数学推导、定理证明） 作业：（书面、上机） 随堂活动：1、讲课，2、课堂提问，3、扩展论文。 考试：平时成绩：40％(随堂活动、作业、考勤） 期终闭卷：60％（基本概念、基本计算、基本定理）。 联系方式：email:yangjie@bit.edu.cn， 4#442） 第一章：信息论与信息论方法概述 信息、信息科学与信息论 信息论研究的对象、目的和内容 信息论发展简史与现状 信息论的形成与发展 信息论方法的应用及其取得的成果 信息、信息科学与信息论 物质、能量和信息是物质世界的三大支柱，是科学历史上三个最重要的基本概念 信息、信息科学与信息论 信息具有抽象性和重要性 信息的5条主要特征 信息来源于物质，又不是物质本身；它从物质的运动中产生出来又可以脱离物质而相对独立地存在。 信息来源于精神世界，但又不局限于精神领域。 信息与能量息息相关，但又与能量有本质的区别。 信息具有知识的本性，但又比知识的内含更广泛。 信息可以被认识主体获取和利用。 信息、信息科学与信息论 广义的信息：信息的形式、内容－－最广泛意义 信息、信息科学与信息论 IT --- 计算机所涉及的各种各样的技术 －－缺点：笼统、不明确 －－优点：适应种类繁 多、不断发展 统一的、全面的、高层次的 信息、信息科学与信息论 出现于图书馆学－－研究图书文献的检索 计算机出现后－－新的含义 不同国家－－含义不尽相同 发展和长远的观点－－能与信息技术相对应的基础科学（P14） American tradition 着眼于信息的语法（ syntactic）结构 对信息定量、客观的分析 为现代通信系统的设计提供基本原则 British tradition 着眼于信息的语义（semantic）和语用 （pragmatic） 研究信息的主观性、信息对人类思维和行为的影响 与哲学、心理学、生物学关系密切 Syntactic：事物运动状态和状态改变方式（外在形式） Semantic：事物运动状态和方式的具体含义（内在含义） Pragmatic：事物运动状态和方式及其含义对观察者的效用（效用价值） 信息、信息科学与信息论 信息论－统计信息理论 四十年代末期C.E.Shannon，以客观概率信息为研究对象，从通信的信息传输问题中总结和开拓出来的理论。 统计信息理论局限性－－不能解决一些问题 如：人工智能中启发式有哪些信誉好的足球投注网站和学习 发展的观点－－信息科学所不可缺少的理论基石 香农信息论的缺陷 ① 香农定义信息的出发点是假定事物状态可以用一个经典集合论为基础的概率模型来描述。实际存在的某些事物运动状态要寻找一个合适的概率模型往往是非常困难的。某些情况下，这一模型不一定存在。 ② 香农定义信息的度量没有考虑收信者的主观性和主观意义，也撇开了信息的具体含义、具体用途、重要程度和引起的后果等元素。这就与实际情况不完全一致。 香农信息的定义和度量是科学的，能反映信息的某些本质；但却是有缺陷的、有局限的。这样，它的适用范围会受到严重影响。 信息、信息科学与信息论 在通信中对信息的表达分为三个层次：信号、消息、信息。 信号：是信息的物理表达层，是三个层次中最具体的层次。它是一个物理量，是一个载荷信息的实体，可测量、可描述、可显示。 消息：(或称为符号)是信息的数学表达层，它虽不是一个物理量，但是可以定量地加以描述，它是具体物理信号的进一步数学抽象，可将具体物理信号抽象为两大类型： 1)??? 离散(数字)消息，是一组未知量，可用随机序列来描述：U=(U1…Ul…UL) 2)??? 连续(模拟)消息，也是未知量，它可用随机过程来描述：U(t,ω) 信息：它是更高层次哲学上的抽象，是信号与消息的更高表达层次。三个层次中，信号最具体，信息最抽象。它们三者之间的关系是哲学上的内涵与外延的关系。 信息、信息科学与信息论 关系： 信息---可以认为是具体的物理信号、数学描述的消息的内涵，即信号具体载荷的内容、消息描述的含义。 信号--则是抽象信息在物理层表达的外延；