Bootstrap和刀切法（jackknife）经典授课讲义.ppt

上节课内容总结 统计推断基本概念 统计模型：参数模型与非参数模型 统计推断/模型估计：点估计、区间估计、假设检验 估计的评价：无偏性、一致性、有效性、MSE 偏差、方差、区间估计 CDF估计： 点估计、偏差、方差及区间估计 统计函数估计 点估计 区间估计/标准误差 影响函数 Bootstrap Bootstrap也可用于偏差、置信区间和分布估计等计算 本节课内容 重采样技术（resampling） Bootstrap 刀切法（jackknife） 引言 是一个统计量，或者是数据的某个函数，数据来自某个未知的分布F，我们想知道 的某些性质（如偏差、方差和置信区间） 假设我们想知道 的方差 如果 的形式比较简单，可以直接用上节课学习的嵌入式估计量 作为 的估计 例： ，则 ，其中 ，其中 问题：若 的形式很复杂（任意统计量），如何计算/估计？ Bootstrap简介 Bootstrap是一个很通用的工具，用来估计标准误差、置信区间和偏差。由Bradley Efron于1979年提出，用于计算任意估计的标准误差 术语“Bootstrap”来自短语“to pull oneself up by one’s bootstraps” （源自西方神话故事“ The Adventures of Baron Munchausen”，男爵掉到了深湖底，没有工具，所以他想到了拎着鞋带将自己提起来） 计算机的引导程序boot也来源于此 意义：不靠外界力量，而靠自身提升自己的性能，翻译为自助/自举 1980年代很流行，因为计算机被引入统计实践中来 Bootstrap简介 Bootstrap：利用计算机手段进行重采样 一种基于数据的模拟（simulation）方法，用于统计推断。基本思想是：利用样本数据计算统计量和估计样本分布，而不对模型做任何假设（非参数bootstrap） 无需标准误差的理论计算，因此不关心估计的数学形式有多复杂 Bootstrap有两种形式：非参数bootstrap和参数化的bootstrap，但基本思想都是模拟 重采样 通过从原始数据 进行n次有放回采样n个数据，得到bootstrap样本 对原始数据进行有放回的随机采样，抽取的样本数目同原始样本数目一样 如：若原始样本为 则bootstrap样本可能为 计算bootstrap样本 重复B次， 1. 随机选择整数 ，每个整数的取值范围为[1, n]，选择每个[1, n]之间的整数的概率相等，均为 2. 计算bootstrap样本为： Web上有matlab代码： BOOTSTRAP MATLAB TOOLBOX, by Abdelhak M. Zoubir and D. Robert Iskander, .au/downloads/bootstrap_ toolbox.html Matlab函数：bootstrp Bootstrap样本 在一次bootstrap采样中，某些原始样本可能没被采到，另外一些样本可能被采样多次 在一个bootstrap样本集中不包含某个原始样本 的概率为 一个bootstrap样本集包含了大约原始样本集的1-0.368 = 0.632，另外0.368的样本没有包括 模拟 假设我们从 的分布 中抽取IID样本 ，当 时，根据大数定律， 也就是说，如果我们从 中抽取大量样本，我们可以用样本均值 来近似 当样本数目B足够大时，样本均值 与期望 之间的差别可以忽略不计 模拟 更一般地，对任意均值有限的函数h，当 有 则当 时，有 用模拟样本的方差来近似方差 模拟 怎样得到 的分布？ 已知的只有X，但是我们可以讨论X的分布F 如果我们可以从分布F中得到样本 ，我们可以计算 怎样得到F？用 代替（嵌入式估计量） 怎样从 中采样？ 因为 对每个数据点 的质量都为1/n 所以从 中抽取一个