信息论与编码.pptVIP

信息论与编码 课程内容 信息论的基本问题—信息的度量 无失真信源编码定理—香农第一定理 信道编码定理—香农第二定理 限失真信源编码定理—香农第三定理 信源编码 信道编码 教学目标 香农信息论的基本理论、概念和方法； 信息的统计度量，离散信源，离散信道和信道容量 编码的理论和实现原理 信源编码与信道编码 教学重点 信息度量 信源描述 信道容量 纠错编码的理论及实现 参考书 1．信息论—基础理论与应用， 傅祖芸编，电子工业出版社，2001 2．信息论与编码，陈运编著，电子工业出版社，2002 3. 信息理论与编码，吕锋等编著，人民邮电出版社，2004 计分方式 最后期终考试成绩占80％ 平时成绩占10％ 作业：一次不交扣1分，无故缺席一次扣1分，迟到一次扣0.5分 手机声响扣1分 严重违反课堂纪律，视情节轻重扣分 课程小结报告(800-1000字)占10% 绪 论 第一章 什么是信息? 信息：一个既复杂又抽象的概念 广义：消息、情报、知识 技术术语：计算机处理(通信传输)的对象—— 数据、文字、记录 科学名词：统计数学、通信技术 用严格的数学公式定义的科学名词，它与内容无关，而且不随信息具体表现形式的变化而变化，因而也独立于形式。 它反映了信息表达形式中统计方面的性质，是一个统计学上的抽象概念。 什么是信息? 信息是指各个事物运动的状态及状态变化的方式。 人们从来自对周围世界的观察得到的数据中获得信息。 信息是抽象的意识或知识，它是看不见、摸不到的。 人脑的思维活动产生的一种想法，当它仍储存在脑子中的时候它就是一种信息。 信息论和信息技术研究什么样的问题？ 信息不是静止的，它会产生也会消亡，人们需要获取它，并完成它的传输、交换、处理、检测、识别、存储、显示等功能。研究这方面的科学就是信息科学。 信息论是信息科学的主要理论基础之一。它研究信息的基本理论，主要研究可能性和存在性问题，为具体实现提供理论基础。 信息技术主要研究如何实现、怎样实现的问题。 信息论 信息论 一门应用概率论、随机过程、数理统计和近代代数的方法，来研究信息传输、提取和处理系统中一般规律的学科。 信息论是在信息可以量度的基础上,研究有效地和可靠地传递信息的科学,它涉及信息量度、信息特性、信息传输速率、信道容量、干扰对信息传输的影响等方面的知识 信息、消息和信号 信息 是事物运动状态或存在方式的不确定性的描述。 信息的特征 信息的基本概念在于它的不确定性,任何已确定的事物都不含信息。 接收者在收到信息之前，对它的内容是不知道的，所以，信息是新知识、新内容； 信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识； 信息可以产生，也可以消失，同时信息可以被携带、贮存及处理； 信息是可以量度的，信息量有多少的差别 例：气象预报 甲 乙 概率空间 概率空间 样本空间： 某事物各种可能出现的不同状态。 先验概率p(xi)： 选择符号xi作为消息的概率。 对xi 的不确定性可表示为先验概率p(xi)的倒数的某一函数。 自信息 互信息 后验概率p(xi | yj) 接收端收到消息yj后而发送端发的是xi 的概率 香农定义的信息 香农定义的信息概念在现有的各种理解中，是比较深刻的，它有许多优点。 它是一个科学的定义，有明确的数学模型和定量计算。 它与日常用语中的信息的含意是一致的。 定文排除了对信息一词某些主观上的含意 香农定义的信息也有其局限性，存在一些缺陷 定义的出发点是假定事物状态可以用一个以经典集合论为基础的概率模型来描述。 没有考虑收信者的主观特性和主观意义，也撇开了信息的具体含意、具体用途、重要程度和引起后果等因素。 信息论研究的内容 狭义信息论： 主要研究信息的测度、信道容量以及信源和信道编码理论等问题。 一般信息论： 主要也是研究信息传输和处理问题，除香农信息论，还包括噪声理论、信号滤波和预测、统计检测和估计、调制理论、信息处理理论以及必威体育官网网址理论等。 广义信息论： 不仅包括上述两方面内容，而且包括所有与信息有关的自然和社会领域，如模式识别、计算机翻译、心理学、遗传学、神经生理学、语言学、语义学甚至包括社会学中有关信息的问题 数字通信系统模型 信源、信宿和信道 信源：发送消息的源 离散信源 模拟信源 信源是信息论的主要研究对象之一，但在信息论中并不探讨信源的内结构和物理机理，而把注意力放在信源的输出上，重点讨论信源输出的描述方法及性质。 信宿：信息归宿之意，亦即收信者或用户，是信息传送的终点或目的地。 信道：传输信息的物理媒介 信源编码器与译码器 信源编码器的作用 是把信源发出的消息变换成由二进制码元(或多进制码元)组成的代码组,这种代码组就是基带信号； 同时通过信源编码可以压缩信源的冗