09 基本采样方法.pdf

机器学习 第九讲 张兆翔 课程回顾 K均值聚类  两步走策略  第一步：初始化 ，按照最优化准则产生  第二步：根据产生的 ，按照最优准则产生  第三步：根据产生的 ，按照最优准则产生 迭代 Expectation 迭代 Maximization 混合高斯模型的最大似然估计  给定 ，估计混合高斯模型参数 奇异问题； 而且解不唯一K! EM算法求解混合高斯问题 对 求导 属于第K个高斯的概率 第K个高斯所包含的样本数 EM算法求解混合高斯问题 对 求导 对 求导 必须考虑一个约束条件 EM算法求解混合高斯问题 EM算法求解混合高斯问题 EM算法求解混合高斯问题 采样方法 问题描述  一个随机变量  预测一个关于 的函数 的值  首先根据 独立地产生一系列采样点 采样问题  对于采样点 ，轻易地产生 1. 原始采样法(Ancestral Sampling)  有向图模型  在概率图模型中，较易获得  按照公式的顺序，产生  如果吻合，保留 如果是无向图呢？如果是边缘分布？更不实用！不实用！  如果矛盾，抛弃 2.基本采样法(Basic Sampling)   思想：从基本概率分布产生新变量的分布  Uniform distribution:  Gaussian distribution: 2.基本采样法(Basic Sampling)  例子：  例子： 2.基本采样法(Basic Sampling)  怎么推导高斯函数的采样？ 不能普适求解 3.拒绝采样(Reject Sampling)  假设：对一个很复杂的 进行采样。不能给出具体的 解析形式，但是每个 可以估算其比例。 已知 未知  用 去逼近 3.拒绝采样(Reject Sampling)  1. 从 产生 被拒绝的概率  2. 从 均匀分布 中产生  3.                        拒绝； 否则接收作为采样 3. 自适应拒绝采样(Adaptive Reject Sampling)  在实际场合中， 很难获得。  特别是 为log凸函数时，可采用ARS  如果满足，接收  如果拒绝，重新