第一章信息论基础课件.pptVIP

2021*虽然维纳和香农等人都是运用概率和统计数学的方法研究准确或近似再现消息的问题,都是通信系统的最优化问题。但他们之间有一个重要的区别。2021*维纳研究的重点是在接收端。研究消息在传输过程中受到干扰时,在接收端如何把消息从干扰中提取出来,并建立了最佳过滤理论（维纳滤波器）、统计检测与估计理论、噪声理论等。发送接收2021*香农研究的对象是从信源到信宿的全过程,是收、发端联合最优化问题,重点是编码。为此,发展了信息测度理论、信道容量理论和编码理论等等。发送接收2021*按照信息的性质1语法语义语用按照观察的过程实在先验实得21.2信息的分类2021*客观主观按照信息的地位3按照信息的作用有用无用干扰42021*真实虚假不定按照信息的逻辑意义5按照信息的传递方向前馈反馈62021*宇宙自然社会思维按照信息的生成领域7工业农业军事政治科技文化经济市场管理按照信息的应用部门82021*语声图象文字数据计算按照信息的来源9电磁语声图象文字光学生物按照信息载体的性质102021*连续离散半连续按照携带信息的信号的性质112021*在众多的分类原则和方法中,最重要的就是按照信息性质的分类。按照性质的不同可以把信息划分成语法信息、语义信息和语用信息三个基本类型。其中最基本也是最抽象的类型是语法信息。也是迄今为止在理论上研究得最多的类型。2021*语法信息考虑的是事物运动状态和变化方式的外在形式。当然,按照事物运动的方式,还可以把信息进一步细分为概率信息、偶发信息、确定信息和模糊信息。香农信息论主要讨论的是语法信息中的概率信息,本书也以概率信息为主要研究对象。2021*全信息语法信息语义信息语用信息离散信息明晰信息连续信息模糊信息2021*信息传输和传播手段经历了五次重大变革:34语言的产生。文字的产生。印刷术的发明。电报、电话的发明。12计算机技术与通信技术相结合，促进了网络通信的发展。52021*1.3信息传输系统通信的基本问题是在彼时彼地精确地或近似地再现此时此地发出的消息。各种通信系统，一般可概括的统计模型:干扰源信道信道译码器信道编码器信源译码器信源译码器信宿信源等效信源等效信宿等效干扰信道信息传输系统模型2021*这个模型包括以下五个部分:3.信道信道是信息传输和存储的媒介。4.译码器译码是编码的逆变换,分为信道译码和信源译码。5.信宿信宿是消息的接收者。2.编码器编码器是将消息变成适合于信道传送的信号的设备。1.信源信源是产生消息的源。编码器信源编码器，提高传输效率信道编码器，提高传输可靠性2021*通信系统模型方框图:信源信宿信源编码加密信源译码解密信道编码信道译码信道干扰噪声1.3信息传输系统2021* 信息度量的方法有:结构度量、统计度量、语义度量、语用度量、模糊度量等等。最常用的方法是统计度量。它用事件统计发生概率的对数描述事物的不确定性，得到消息的信息量，建立熵的概念。熵概念是香农信息论最基本最重要的概念。信息论是在信息可以度量的前提下,研究有效地、可靠地、安全地传输信息的科学。2021*香农信息论信源熵无失真信源编码定理信源编码信道编码率失真函数限失真信源编码定理信道容量信道编码定理密码香农信息论12021**1948年，香农发表“通信的数学理论”，标志着信息论的正式诞生C.E.Shannon,AMathematicalTheoryofcommunication,BellSystemTech.J,vol.27,PP379-423,July1948在前人工作基础上，用概率统计方法研究通信系统揭示:通信系统传递的对象——信息提出:信息熵、信息量指出: