信息论与编码第1章课程介绍绪论.ppt

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * SWUN SWUN * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 1讲 * * * 2讲 信息的定义和性质 信息一般指消息、情报、资料、数据、信号等包含的内容。一般是消息中所给予收信者的新知识或消息中包含的有意义的内容。 消息：通常把包含信息的语言和声音、音乐、文字、符号、数据、图象等统称为消息。 在通信中，消息是指担负传送信息任务的单个符号或者符号序列。 信号：描写与消息相对应的电信号或光信号，是传递信息的载体。 比如，他说：“我什么都不知道。” 狼来了 * 信息（Information）的其他定义 信息是确定性的增加。 信息是事物现象及其属性标识的集合。 信息是物质、能量、信息及其属性的标示。 信息以物质介质为载体，传递和反映世界各种事物存在方式和运动状态的表征。 信息是物质运动规律总和，信息不是物质，也不是能量! 信息是客观事物状态和运动特征的一种普遍形式，客观世界中大量地存在、产生和传递着以这些方式表示出来的各种各样的信息。 　　 * 信息（Information）的其他定义 信息是抽象于物质的映射集合。 信息是有价值的，就像不能没有空气和水一样，人类也离不开信息。因此人们常说，物质、能量和信息是构成世界的三大要素。所以说，信息的传播是极具重要与有效的。 信息是事物的运动状态和过程以及关于这种状态和过程的知识。它的作用在于消除观察者在相应认识上的不确定性，她的数值则以消除不确定性的大小，或等效地以新增知识的多少来度量。虽然有着各式各样的传播活动，但所有的社会传播活动的内容从本质上说都是信息。 * 信息（Information）的其他定义 　信息是对物质属性的反映（是“信息是被反映的物质属性”的肯定式的变换） 信息是事物属性的标识 信息是客观事物普遍属性的表征 信息就是信息，它既不是物质也不是能量。 信息是选择的自由度 （Hartley,1928） 信息是被反映的物质属性 信息是通信传输的内容 （Wiener,1950） 。 信息是人与外界相互作用的过程中所交换的内容的名称 * 信息（Information）的其他定义 　　信息是使概率分布发生变动的东西 （Tribes etal, 1971） 。 　　信息是事物之间的差异 （Longo,1975） 。 　　信息是集合的变异度 （Ashby,1956） 。 　　信息是一种场 （Eepr,1971） 。 　　信息是负熵 （Brillouin,1956） 。 　　信息是有序性的度量 （Wiener,1948） 。 　　信息是系统组织程度的度量 （Wiener,1948） 。 　　信息是被反映的差异 （ УΛ cy Λ，1968） 。 　　信息是被反映的变异度 * 思考题 ？？你对信息定义的理解、看法等？ ？？是否可以给出一个信息定义？ 如果实际信源或信道符合所采用的概率模型描述，这种方法是有效的，否则只能是近似的，甚至根本无效。 语言的熵描述是非常困难的，其是非平稳的，除了确定的信息，还有模糊的信息，比如“韵味”，“意境” 不同的接收者对同一个东西得到的信息可能是不同的 Shannon信息论适合于能够定量描述的信息，对难于定量描述的信息则无能为力。 信息论的局限性 ？？信息论还具有哪些局限性？ 信息论常被理解为包括更广的领域 语义学 语言学 神经生理学 心理学 组织学 信息的不同属性的定义产生不同的信息论 模糊信息论 量子信息论 生物信息论 信息复杂度的信息理论 信息的广义性 * 香农信息论：狭义信息论是一门应用数理统计方法来研究信息处理和信息传递的科学。它研究存在于通讯和控制系统中普遍存在着的信息传递的共同规律，以及如何提高各信息传输系统的有效性和可靠性的一门通讯理论。 一般信息论（工程信息论）主要也是研究信息传输和处理问题，除香农信息论，还包括噪声理论、信号滤波和预测、统计检测和估计、调制理论、信息处理理论以及必威体育官网网址理论等。注：本教材称为广义信息论。 信息论的推广 * 广义信息论：不仅包括上述两方面内容，而且包括所有与信息有关的自然和社会领域，如模式识别、计算机翻译、心理学、遗传学、神经生理学、语言学、语义学甚至包括社会学中有关信息的问题。 量子信息论：全新的理论，建立在量子力学特性基础上，量子比特、并行运算，叠加纠缠等，有疑。 信息论的推广 * 一、形式化假说 香农指出：“通信的基本问题，是在消息的接收端精确地或近似地复制发送端所挑选的信息。通常消息是有意义的，即是说，它按某种关系与某些物质或概念的实体联系着。通信的语