信息论理论基础(第二章).ppt

******2.4信源冗余度****2.5连续信源的熵********2.6熵速率和信道容量**在一般广义的通信系统中，信道是很重要的一部分。信道是所传信息的载体（消息）的具体形式（信号）所要通过的通道（或媒介）。信息是抽象的，但是信道是具体的，比如二人对话，二人之间的空气就是信道；打电话时，电话线就是信道；看电视、听收音机时，发送和接收天线之间的空气就是信道等等。信道的分类根据实际的应用，信道有几种分类方法：2.6.2信道容量01离散信道：也称为数字信道，输入/输出信号在幅度和时间上都是离散的信道；连续信道：输入/输出信号在幅度上连续，在时间上离散的信道；模拟信道：输入/输出信号在幅度和时间上都是连续的信道。按其输入/输出信号在幅度和时间上的取值来分类022）按其输入/输出信号之间关系的记忆特性来分类可以分为记忆信道和无记忆信道。如果信道的输出只与信道该时刻的输入有关而与其它时刻的输入无关，称此信道为无记忆信道，反之称为记忆信道。实际信道一般都是有记忆的，如电缆信道中的电感电容、无线信道中的电波传播的衰落现象等。有记忆信道的分析比较复杂，有用的研究成果很少。3）按其输入/输出信号之间的关系是否确定来分类可以分为有噪声信道和无噪声信道。一般来说，因为信道中总是存在某种程度的噪声，所以信道输入/输出之间的关系是一种统计依赖的关系。但是当噪声与信号相比很小时，可以近似为无噪声信道，而有噪声信道是信息论研究的主要对象。4）根据信道输入和输出的个数来分类⑴单用户信道：只有一个输入端和一个输出端的单向通信的模型；⑵多用户信道：双向通信或三个或更多个用户之间相互通信的情况。在本章中主要讨论的是离散信道和连续信道的内容。信道的任务就是传输信息和存储信息，研究信道就是研究信道中传送或存储的最大信息量，即信道容量的问题。**2.7离散有噪信道中的熵速率和信道容量第二章：基本信息论**2.1信息度量012.2离散信源的熵022.3二元联合信源的共熵与条件熵032.4信源冗余度042.5连续信源的熵052.6熵速率和信道容量062.7离散有噪信道的熵速率和信道容量072.8连续有噪信道的熵速率和信道容量082.9使信源与信道匹配的编码092.1信息度量**基本信息论又称狭义信息论，是以信息的度量为基础，有了对信息的确切定义与测度，信息科学才得以建立和发展。案例一：甲乙同去听某一学者讲课，由于两个人的业务基础不同，他们听到的虽然是同一内容，但听后得到的新知识是不一样的，怎么衡量呢？就可以用信息度量的方法。案例二：信源发出的消息，经过信道传送给信宿，信道能够传送或存储的最大信息量为多少呢？可以用信道容量来分析。信源是发送消息的一方，信源发出的消息常常是随机的，这样信源要发出的消息的状态应该存在某种程度的不肯定性。比如大学生在上课时，老师给大学生讲1+1=2的知识，那么这些大学生肯定得不到任何的信息，因为1+1=2的知识他们在上小学时就已经学过了，它的不肯定性为零。获得以前不知道的内容，可以获得信息，因为它存在不肯定性。信源中某一消息发生的不肯定性越大，一旦发出，收信者获得的信息量就越大；相反，信源中某一消息发生的不肯定性越小，通过通信收信者得到的信息量就越少。因此，获得信息量的多少与信源的不肯定性有关，即与不肯定程度有关。下面介绍不肯定程度。2.1.1信源的不肯定性01上面讲了信源的不肯定性有大小之分，也就是说不肯定性有程度上的差分。那么，什么是不肯定程度呢？为了便于说明问题，举个例子说明。⒈不肯定程度02例题：有三个布袋，每个布袋中分别放100个球，这三个布袋中球的存在方式如下：布袋a：放99个白球，1个黑球；布袋b：放50个白球，50个黑球；布袋c：放4种颜色的球，红、蓝、白、黑各25个；从这三个布袋中分别抓1个球，猜测在三个布袋中抓到的是哪种颜色的球？解：布袋a：可以肯定这样的一个信源发出的消息具有不肯定性，因为拿出一个球可能是红球，也可能是白球。但很容易猜测出它大概是红球，因为红球多，所以猜测的难度不大，当然不肯定程度也不大。布袋b：这时猜测从布袋中随意拿出一个球的颜色的难度就比第一种情况大。因为这时红球、白球一