北京邮电大学信息论基础ppt1.ppt

热力学对仙农信息论的创立也产生很大影响，仙农提出用熵作为信息的度量，实际上也参考了热熵的概念。人们对热熵的认识主要有三个阶段：最早由克劳修斯提出宏观熵的公式：S=Q/T，其中S为熵的变化，Q为宏观系统热量的变化，T为绝对温度。波尔兹曼提出微观系统的熵和微观系统状态数的对数成正比，后来由普郎克总结成公式：S=klog，其中k为波尔兹曼常数，为系统的微观系统状态数，该公式称为波尔兹曼方程。吉布斯提出在微观系统状态概率不等情况下的热熵计算公式：S =-kipilogpi，该公式称为吉布斯方程。实际上，除常数k外，仙农熵和吉布斯方程的热熵表达式相同。 1.3. 2 仙农的主要贡献 在信息论的产生与发展过程中仙农所起的作用是关键性的，主要列举如下： 1948年，发表《通信的数学理论》，奠定了信息论的理论基础。 1956年，发表《The Zero-Error Capacity of a Noisy Channal 》（《噪声信道的零差错容量》），指出当不允许有任何传输错误时，信道编码的概率方面问题消失，而仅保留图论方面的问题，开创了零差错容量的研究领域。 1959年，发表《Coding Theorem for a Discrete Source with a Fidelity Criterion 》 （《在保真度准则下的离散信源编码定理》），给出率失真定理的简单详细的证明，然后推广到更一般的信源和失真测度，最后到模拟信源，推动了信息率失真理论研究。 1961年，发表《Two-Way Communication Channels 》（《双路通信信道》），将信息论应用到连接两个点A、B的信道，其中A、B需要双向通信，但两个方向互相干扰的情况，证明了信道的容量区域是凸的，并建立了此区域的内外边界，从而开拓了多用户理论（现称做网络信息论）的研究。 1.3. 3 仙农信息论的研究进展 五十多年来，无论是理论方面，还是应用方面，仙农信息论得到很大的发展。可分以下四个方面来叙述。 1．信息的量度 仙农熵作为信息的量度，是信息论中最重要的概念，在这方面有两个重要研究内容，一是以仙农熵为基础，研究信源信息熵的估计方法，二是将信息熵用做推断工具的最大熵原理，另外就是提出新的信息量度方法，以适应新的应用，主要进展如下： （1）信息熵的估计 自从仙农信息论创立以来，已经提出了多种信息熵估计方法，并得到广泛应用，信息熵估计技术就是研究的热点之一。当前，信息熵估计方法已经从主要针对文本、图象等一般信源，转移到针对特殊信源（例如DNA序列熵的估计）的研究。 （2）最大熵原理 1957年，统计物理学家Jaynes，根据仙农熵的概念，提出了当已知条件不充分时利用部分信息推断概率分布的方法，称为最大熵原理。它的基本思想是，求满足某些约束的信源事件概率分布时，应使得信源的熵最大，这样可以使我们依靠有限的数据达到尽可能客观的效果，克服可能引入的偏差。当前，最大熵原理已经应用于多个领域，其中包括信号检测与处理、模式分类、自然语言处理，生物医学，甚至经济学领域，都取得很好的效果。 3）Kolmogorov熵 上世纪60年代，Kolmogorov等提出一种与概率无关的信息量度，称为Kolmogorov算法熵。在数值y给定条件下使计算机输出x值最短的程序的长度，定义为在y条件下x的条件算法熵。算法熵可以作为算法复杂度的度量。 （4）Renyi熵 Renyi熵有一个参数，是仙农熵的单参数推广。Renyi熵称为与概率分布有关的阶的信息度量，不满足可加性；当1时，收敛于仙农熵。Renyi熵在很多领域都有应用，例如生物学、医学、遗传学、语言学、经济学和电器工程、计算机科学、地球物理学、化学和物理学等，在图象处理技术中也有应用，也广泛用于量子系统的研究，特别是用于量子纠缠态、量子通信协议、量子相关性的分析等。 （5）Tsallis熵 表示大范围的相互作用或长时间的记忆系统可能不满足遍历性，例如引力系统、Levy fligHts、分形现象、湍流物理、甚至经济学等领域，称为非广延系统。已经证明，波尔兹曼—吉布斯统计学不适于这类系统。1988年，由Tsallis提出一种适用于非广延系统的信息度量，推广了波尔兹曼—吉布斯熵，称作 Tsallis熵。它也是仙农熵的单参数（q）推广，满足伪可加性；当q1时，收敛于仙农熵。当前，Tsallis熵已经应用到很多系统，例如Levy异常扩散、自引力系统、星系的特殊速度、线性响应理论、扰动与变分方法、格林函数、光子-电子相互作用、低维耗散系统等。通常认为，Tsallis熵适用于非规则的但又不完全随机或混沌的运动的处理。Tsallis熵在信息处理的应用