【信息论与编码论文】.doc

题 目： 最大熵原理及其应用 姓 名： 学 院： 专 业： 信息与计算科学专业 班 级： 学 号： 指导教师： 2014年7月14日 目 录 摘要： 1 Abstract： 2 引言 1 概述 1.1 信息与信息论 1.2 发展过程 4 2 信息熵的概念 5 3 最大熵原理 6 4 最大熵原理的合理性 9 4.1应用最大熵准则构造先验概率分布的优点 9 4.2对最大熵原理提出两个主要疑问 10 4.2.1关于最大熵原理所得解的客观性 10 4.2.2如何理解被最大熵原理排除的其他满足约束条件的解 10 5最大熵模型 10 5.1最大熵模型概述 10 5.2条件最大熵 11 6 最大熵原理及其在杂波仿真中的应用 12 6.1最大熵方法求解杂波幅度概率密度函数 12 6.2 随机数的产生 13 6.3 仿真实例分析 14 7 结论 17 参考文献 8 最大熵原理及其应用 摘要：本文从信息熵的概念出发论述了信息熵的概念，最大熵原理，最大熵原理合理性，最大熵模型及其应用等。通过分析最大熵的两个具体模型，然后在具体例子当中应用最大熵原理，展示该原理的适用场合，以期对最大熵原理及其应用有更深刻的理解。熵是源于物理学的基本概念，后来Shannon在信息论中引入了信息熵的概念，它在统计物理中的成功使人们对熵的理论和应用有了广泛和高度的重视。最大熵原理是一种在实际问题中已得到广泛应用的信息论方法。最大熵原理指出，当我们需要对一个随机事件的概率分布进行预测时，我们的预测应当满足全部已知的条件，而对未知的情况不要做任何主观假设。在这种情况下，概率分布最均匀，预测的风险最小。 关键词：信息熵；最大熵原理；应用 The maximum entropy principle and its application Abstract: This article from the concept of information entropy on the basis of the concept of information entropy, the principle of maximum entropy, maximum entropy principle of rationality, the maximum entropy model and its application. Through the analysis of two specific models of maximum entropy, and the application of the maximum entropy principle in the concrete example, show the applicability of this theory, in order to have a more profound understanding of the principle of maximum entropy and its application. Entropy is a basic concept in physicsconcept source, later Shannon introduced information entropy in information theory, it in statistical physics success made the theory and application ofentropy has been widely and attention. The principle of maximum entropy is ahave been widely applied in the practical problems in the method of information theory. The maximum entropy principle, when we need to predict the probability distribution of a random event, our forecasts should meet a