信息论基础详细课件.pptxVIP

信息论基础;信息论基础教程;目录;1.1 信息的概念 1.2 信息论研究对象、目的和内容 ;1.1 信息的概念; (香农)信息： 信息是事物运动状态或存在方式的不确定性的描述。 可运用研究随机事件的数学工具——概率来测度不确定性大小。 在信息论中，我们把消息用随机事件表示，而发出这些消息的信 源则用随机变量来表示。; 信源所含有的信息量定义为信源发出的所有可能消息的平均不确定性，香农把信源所含有的信息量称为信息熵。自信息的统计平均定义为信源熵，即： 这里的q表示信源消息的个数。信息熵表示信源的平均不确定性的大小，同时表示信源输出的消息所含的平均信息量。因此，虽然信源产生的消息可能会含有不同的信息量。 在收信端，信源的不确定性得到部分或全部消除，收信者就得到信息。信息在数量上等于通信前后“不确定性”的消除量(减少量) ;1.2 信息论研究对象、目的和内容; 这个通信系统主要分成五个部分： (1). 信源 顾名思义，信源是产生消息和消息序列的源。 (2). 编码器 编码就是把消息变成适合在信道传输的物理量——信号。 编码器可分为信源编码器和信道编码器。信源编码目的是提高通信系统有效性 和提高信息传输的可靠性。实际通信系统中，可靠性和有效性常常相互矛盾 。 (3). 信道 信道是指通信系统把载荷消息的信号从发送端送到接收端的媒介或通道， 是包括收发设备在内的物理设施。 (4). 译码器 译码就是把信道输出的已迭加了干扰的编码信号进行反变换，变成信宿 能够接受的消息。译码器也可分成信源译码器和信道译码器。 (5). 信宿 信宿是消息传送的对象，即接受消息的人或机器。 ; 信息论研究的是关于这个通信系统的最根本、最本质的问题。例如： ①. 什么是信息？如何度量信息？ ②. 怎样确定信源中含有多少信息量？ ③. 对于一个信道，它传输信息量的最高极限(信道容量)是多少？ ④. 为了能够无失真的传输信源信息，对信源编码时所需的最少的码 符号数是多少？(无失真信源编码即香农第一定理) ⑤. 在有噪信道中有没???可能以接近信道容量的信息传输率传输信息 而错误概率几乎为零？(有噪信道编码即香农第二定理) ⑥. 如果对信源编码时允许一定量的失真，所需的最少的码符号数又 是多少？(限失真信源编码即香农第三定理);目前，对信息论的研究内容一般有三种理解：? (1)狭义信息论： 又称香农信息论。主要通过数学描述与定量分析，研究通信系统从信源到信宿 的全过程，包括信息的测度、信道容量以及信源和信道编码理论等问题，强调 通过编码和译码使收、发两端联合最优化，并且以定理的形式证明极限的存在 这部分内容是信息论的基础理论。 (2)一般信息论：也称工程信息论。 主要也是研究信息传输和处理问题，除香农信息论的内容外，还包括噪声理论 信号滤波和预测、统计检测和估计、调制理论、信息处理理论以及必威体育官网网址理论等 (3)广义信息论： 不仅包括上述两方面内容，而且包括所有与信息有关的自然和社会领域，如模 式识别、计算机翻译、心理学、遗传学、神经生理学、语言学、语义学甚至包 括社会学中有关信息的问题。 ;2.1 自信息和互信息 2.2 平均自信息 2.3 平均互信息 ;关于信息的度量有几个重要的概念： （1）自信息：一个事件(消息)本身所包含的信息量，它是由事件的不确 定性决定的。比如抛掷一枚硬币的结果是正面这个消息所包含的信息量 （2）互信息：一个事件所给出关于另一个事件的信息量，比如今天下 雨所给出关于明天下雨的信息量。 （3）平均自信息（信息熵）：事件集（用随机变量表示）所包含的平 均信息量，它表示信源的平均不确定性。比如抛掷一枚硬币的试验所包 含的信息量。 （4）平均互信息：一个事件集所给出关于另一个事件集的平均信息量 比如今天的天气所给出关于明天的天气的信息量。 ;2.1 自信息和互信息;定义2.1 随机事件的自信息量定义为该事件发生概率的对数的负值。 事件 的概率为 ，则它的自信息定义为： 从图2.1种可以看到上述信息量的定义正 是满足上述公理性条件的函数形式。 代表两种含义：当事件发生以前，等于 事件发生的不确定性的大小；当事件发 生以后，表示事件所含有或所能提供的 信息量。;自信息量的单位与所用对数的底有关。 （1）常取对数的底为2，信息量的单位为比特(bit，binary unit)。当 =1/2时， =1比特，即概率等于1/2的事件具有1比