9多重假设检验方法及其在经济计量中的应用.doc

多重假设检验方法及其在经济计量中的应用 一、 引 言 复杂数据主要表现在维数高、相依、非线性与不完全观测等，在基因序列、股市和社会经济等领域中经常出现。传统的数理统计学方法在处理低维、独立、线性与完全数据时有效，但面对如此复杂的数据时，困难很多。因此，“复杂数据和复杂模型的统计推断问题”被列为“十五”期间我国统计学研究的重要领域及重点课题中的主要问题之一。（课题组，《统计研究》，2000） 在2004年第164届美国统计学会（American Statistical Association）年会中，美国统计学会主席、斯坦福大学统计系教授Bradley Efron在致辞中指出：“计算机技术突破了曾限制经典统计理论发展的计算瓶颈。与此同时，一些极其重要的问题像洪流一样涌向我们，其表现为巨型数据集合与大规模推断问题（huge data sets and large-scale inference problems）。我相信这一代统计学家将置身于一个可与Fisher，Neyman，Hotelling和Wald所处黄金时代相媲美的统计创新时代。”（Efron, B., 2005）（朱钰等，2005） 2005年5月25 -27日，香山科学会议召开了主题为“生物与医学中的复杂性问题”的学术讨论会。北京大学韩世辉教授认为，目前对脑成像数据的分析方法还是经典的统计方法，没有完全挖掘出数据中关于与大脑认知功能相关的特性。因此应结合多学科，进一步发展脑成像数据的分析方法（/）。同年7月2-3日，上海市中国工程院院士咨询与学术活动中心——东方科技论坛举行 “计算生物学必威体育精装版进展” 的学术研讨会。与会专家们达成了共识：如何从海量的生物学数据中挖掘出最有用的信息，是对生命科学以及医药研究的巨大挑战。计算生物学是一门交叉学科，需要来自不同背景的研究人员通力合作。（/） 以上国内外重要的学术会议都传达了如下重要信息：经典的统计方法在面对巨型数据集合与高维（大规模）统计推断问题时已显得乏力，现在急需创造出新的解决这些问题的统计理论、方法和工具。 为解决巨型数据集合问题 —— 数据挖掘（Data Mining）的理论、方法和技术已应运而生。而针对诸如怎样同时检验成千上万个基因中哪些基因的表达水平有显著性差异之类的高维统计推断问题，以错误发现率[1]—— FDR（False Discovery Rate)为主要特征的多重假设检验[2]（Multiple hypothesis testing）的错误控制理论无疑为其提供了一个有效的解决途径。 以最近关于FDR的应用研究成果为例：2001年，天体物理学家与统计学家合作在《Science》上发表了利用FDR方法证实宇宙起源大爆炸理论的论文（Miller, C J., Nichol., R C., Batuski, D J. , Science, 2001）。2005年，在《Nature》上，遗传学家与统计学家合作，将FDR方法用于遗传多态现象间交互作用对基因表达的影响研究。（Brem, RB., Storey, JD., Whittle, J. and Kruglyak, L., Nature, 2005） 本文以变量个数远远多于观测次数的高维复杂数据为研究对象，以多重假设检验的错误控制为主线，对多重假设检验问题的错误控制理论、方法和过程及必威体育精装版进展进行综述，并对多重假设检验方法在经济计量研究中的应用进行展望。 二、多重假设检验国内外研究文献综述 多重假设检验（Multiple hypothesis testing）问题[1]，是将多个单重的假设检验作为一个整体，或称为一个检验族（Family-wise），然后对这个检验族中的每个假设同时进行检验的问题。我们需要讨论和解决的是：从多重假设检验族考虑，统计检验所犯的错误有多大？用什么尺度合理度量？采取何种方法有效控制？ 传统的多重假设检验主要是控制族错误率（FWER ：Family-wise Error Rate）。如经典Bonferroni多重检验过程和?idák 过程（?idák , 1967），这些过程具有简单和直观的特点。但是，因为它们将每个检验都同等对待，所以在部分检验具有强相关性时，检验过程就会显得过于保守，导致检验的功效（power）较低。Holm (1979) 首先将检验p-值按小大次序排序，对经典Bonferroni过程进行改进，提出Holm逐步向下控制过程。随后，Simes（1986）, Hommel (1988) 和Rom (1990)在此基础上对改进的Bonferroni过程进行了拓展。Hochberg, Y. 和 Tamhane, A C. (1987)共同出版了关于多重比较过程的经典专著《 Multiple Comparison Pro