第1章信息论与编码第1章.ppt

总之，人们研究信息论的目的是为了高效、可靠、安全并且随心所欲地交换和利用各种各样的信息。 信息论与编码 Information Theory and coding 信息系1402/03/04班 学习目的及意义 最简单的通信系统 信 源 信 道 信 宿 信源熵 信源包含多少信息？ 信道中传输的是什么形式？ 信道能传送多少信息？ 信宿接收到的信息是否正确？ 编码 信道容量 检纠错 概 论 信息的一般概念 信息的分类 信息论的起源、发展及研究内容 信息论创始人： C.E.Shannon(香农) 美国科学家 概 论 信息科学和材料、能源科学一起被称为当代文明的“三大支柱”。 一位美国科学家说过：“没有物质的世界是虚无的世界；没有能源的世界是死寂的世界；没有信息的世界是混乱的世界。” 信息的存在 花朵开放时的色彩是一种信息，它可以引来昆虫为其授粉； 成熟的水果会产生香味，诱来动物，动物食后为其传播种子，果香也是一种信息； 药有苦味，让人难以吞咽，药味是一种信息； 听老师讲课可以得到许多知识，知识也是信息 ……。 信息的存在 总之，信息处处存在，人的眼、耳、鼻、舌、身都能感知信息。 色彩 视觉 果香 嗅觉 苦药 味觉 知识 听觉 冷热 触觉 信息的存在 1928年,美国数学家哈 特 莱 (Hartley)在《贝尔系统电话杂志》上发表了一篇题为《信息传输》的论文。他认为“信息是选择的自由度”。 ？信息究竟是什么呢？ 事隔20年， 另一位美国数学家香农 (C. E. Shannon) 在《贝尔系统电话杂志》发表了题为《通信的数学理论》的长篇论文。他创立了信息论，但是却没有给出信息的确切定义,他认为“信息就是一种消息”。 美国数学家、控制论的主要奠基人维纳(Wiener）在1950年出版 的《控制论与社会》 中写到：“信息既不是物质又不是能量，信息就是信息”。这句话起初受到批评和嘲笑。它揭示了信息的特质：即信息是独立于物质和能量之外存在于客观世界的第三要素。 全 信 息 同时考虑事物运动状态及其变化方式的外在形式、内在含义和效用价值的认识论层次信息。 语法信息 语义信息 语用信息 全 信 息 信息的重要性质： 可压缩性 可扩散性 可替代性 可共享性 时效性 存在的普遍性 有序性 相对性 可度量性 可扩充性 可存储、传输与携带性 信号、消息与信息区别与联系 在通信中对信息的表达分为三个层次：信号、消息、信息。 信号：是信息的物理表达层，是三个层次中最具体的层次。它是一个物理量，是一个载荷信息的实体，可测量、可描述、可显示。 消息：(或称为符号)是信息的数学表达层，它虽不是一个物理量，但是可以定量地加以描述，它是具体物理信号的进一步数学抽象，可将具体物理信号抽象为两大类型： 1)??? 离散(数字)消息，是一组未知量，可用随机序列来描述：U=(U1…Ul…UL) 2)??? 连续(模拟)消息，也是未知量，它可用随机过程来描述：U(t,ω) 信息：它是更高层次哲学上的抽象，是信号与消息的更高表达层次。三个层次中，信号最具体，信息最抽象。它们三者之间的关系是哲学上的内涵与外延的关系。 通信中的信息含义？ 信号、消息与信息区别与联系 关系： 信息---可以认为是具体的物理信号、数学描述的消息的内涵，即信号具体载荷的内容、消息描述的含义。 信号--则是抽象信息在物理层表达的外延； 消息--则是抽象信息在数学层表达的外延。 同一信息，可以采用不同的信号形式(比如文字、语言、图象等)来载荷； 同一信息，也可以采用不同的数学表达形式(比如离散或连续)来定量描述； 同一信号形式，比如“0”与“1”可以表达不同形式的信息，比如无与有、断 与通、低与高(电平)等等。 情报、知识是特点的信息，但不等于信息的全体。 通信中的信息含义？ 信息·消息·信号区别与联系： 消息是指担负着传送信息任务的单个符号或符号序列。包括文本、数据、语言、图形和图像等。是具体的。 信号是消息的物理体现，为了在信道上传输消息，就必须把消息加载到具有某种物理特征的信号上去。是物理的。 信息是消息中的未知成分（不确定性），或者说是消息中的有用成分。是抽象的。