第24章模拟方法.PDF

第24章：模拟方法 模拟方法：亦称随机模拟方法、 Monte Carlo （蒙特卡罗）方 法，是一种基于“随机数”的计算方法 美国在第二次世界大战期间研制原子弹的“曼哈顿计划” 中，Monte Carlo方法被系统地应用于科学研究中，诞生了MANIAC (Mathematical Analyzer, Numerical Integrator and Computer) Stanislaw Ulam, John von Neumann, Nicholas Metropolis, Enrico Fermi等 人发明了一种基于样本统计的方法来解决关于在原子弹设计中的中子随 机扩散问题和Schrodinger等式的特征值估计问题 其基本思想很早以前就被人们所发现和利用 17世纪：用事件发生的“频率”来决定事件的“概率” 19世纪：用投针试验的方法来决定π Note on census-taking in Monte Carlo calculations, E. Fermi and R.D. Richtmyer 1948 The Monte Carlo Method, Metropolis and S. Ulam 1949,Journal of the American Statistical Association, 44, 335 (1949) 为什么叫Monte Carlo方法 Monte Carlo ：闻名世界的赌城——摩纳哥的一个 小山城 Monte Carlo方法：随机采样技术 Monte Carlo方法与Monte Carlo赌博之间的联系？ 二者都是由随机变量驱动——掷骰子 Monte Carlo casino 主要内容 为什么需要Monte Carlo方法 Monte Carlo 方法 产生独立样本 基本方法：概率积分变换（第一部分已讲） 接受—拒绝（舍选）采样 重要性采样 产生相关样本：Markov Chain Monte Carlo Metropolis-Hastings算法 Gibbs Sampler Monte Carlo方法：一种通用的计算 技术 模拟：从一个pdf产生 “典型”样本 x ~ π(x ) 积分：在高维空间中积分 I =E h (x ) = h (x )π(x )dx [ ] ∫ 优化 * x =arg max π x ( ) x 学习 有隐含变量的非监督学习（对后验分布模拟） 对隐含变量积分 有缺失数据的机器学习 MLE ：f (x;θ) 任务1：采样与模拟 对很多系统，其状态由概率模型控制。假设系统的状态 x ，满足全局约束 x ∈Ω x : H x h ,i 1,...,K { i ( ) i } 这些约束可能一些逻辑约束（如8-皇后问题），也可能是一些宏 观性质（如固定体积和能量的物理气体系统），也可能是统计观 测（给定一些样例图像，合成有相同性质的图形） 任务：产生该系统的典型状态 例：噪声图像合成 “噪声图像”模式：固定均值和方差的图像集合 ⎧