统计学 二十一世纪的挑战与机遇.doc

统计学 二十一世纪的挑战和机遇 报告是由美国国家科学基金会(NSF)资助召开的一个研讨会的一份工作报告，时间为2002年的5月6日至8日。大约由50位来自世界各地的统计学家参加。研讨会的目的是确认统计学今后的挑战和机遇。它主要集中于科学研究，但也涉及重要的相关领域，如统计教育，基础结构，国际前景和长期目标。该科学委员会负责起草出这份报告，在明年的这一过程中，还将收到来自该委员会其他成员和专业统计组织负责人的意见。这个报告试图反映出这些意见的一个综合观念。 统计本身是一门科学--从数据中学习的科学，它扎根于继续增长的知识核心。这表明它的根是概率论和数学，同时也受到更现代的计算机科学的影响。统计学来自于这些根，又反馈给它们新的数学和计算问题。统计也是一个不多见的学科交叉领域。的确，应用是它的原动力。在为认可的技术提供有价值的市场时它们激发了关于新理论和新方法的研究。 对统计来说目前最迫切的是要适应于这种数据集的需求，它们是如此之大和如此复杂，以至于需要新的概念。统计学家不但要使用数据，而且要设计试验和阐述试验结果。这些问题经常是广泛的学科间合作的源泉--从天文到公共政策到动物学--这些都是今天的统计学家从事的领域。 1统计是什么? 假如面对广大的听众演讲，委员会感到有必要来阐述科学中的统计角色。许多科学家(如果不是全部)仅仅看到了我们领域的一点皮毛。为此在研讨会上的第一个演讲者，牛津大学著名的D.R.Cox教授，被要求从最基本的讲起，以及确认统计是什么?该问题在研讨过程中被反复提及。我们在这儿综述一些主要观点。 统计学科本质上可以用它的多学科性来识别。该领域的长远(over-arching)目标是从所有类型的数据中提取科学的和有意义的信息。统计学家用不同的方法在大量的科学过程中达到这一目标。在好的实验原理培养下，他们可以成为从初级实验设计一直到最终数据分析和得出结论这一科学过程的合作者。 统计工作的科学领域几乎与科学尝试一样广泛，在研讨会中，我们集中讨论六个主要领域：统计核心加上六个应用的主要领域： ●生物科学 ●工程和工业统计 ●地理和环境科学 ●信息技术 ●物理科学 ●社会和经济科学 被选择的这些领域大体上对应于(美国)国家科学基金资助的不同的方向。 在本报告的第五章，这些领域的每个部分，除了一个外都将给出一个有深度的回顾，但社会和经济科学必须被不幸地排除。编委们面临的困难是这个领域不但很难与别的领域分开，而且相当复杂。在该领域的研究工作者大多不在统计系工作，但对诸如经济学，心理学和社会学感兴趣。这包含了若干个领域，这些领域有它们自己成熟的和特有的统计文献，如心理计量学和经济计量学等。关于对这种成熟的和有大量文献领域的回顾已超出我们的时间框架和资源。 在合作领域外，统计学者的核心活动是用于信息抽取的数学和概念工具的构造。虽然大部分这类研究的数学基础是概率论，但最终目的是要提供在经验工作中有用的结果。这区分了统计学家理论研究结果和大多数数学领域的结果--在其中抽象结果纯粹追求它们内在的意义。正如NSF报告98-95关于美国数学的国际评估的高级评估小组报告(report of the Senior Assessment Panel for the Inttrnationd Assessment of the U.S.A Machematical Science)(以后称为Odom Report)所述，： 统计总是与应用连在一起的，结论的重要性，既使是理论统计，也是强烈依赖于与结论有关的应用类型。在这方面它非常不同于计算数学以外的其它所有数学分支。(我们所强调的) 统计领域的显著特点，以及它发展的方法论，集中在从数据得出科学结论的小心谨慎原则的设计上。该原则性方法使统计有别于数据处理，组织和分析的场合。一个主要的要求是规定我们必须要对由数据作出的科学陈述的不确定性提供一种度量。设计的这类统计工具如置信系数，显著性水平以及信任区域等，提供了关于有效性的容易解释的度量。适当使用这些工具有助于控制来自于数据的虚假结论。 首先是本杰明狄斯瑞利(Benjamin Disraeli)，后来由马克吐温引用，说道：有三类谎言：谎言，可恶的谎言，以及统计。事实上，统计学家被训练成能区分科学真理和科学虚构。为了指出这一点，在本报告的后面，我们将讨论有效性的一种新的度量，假发现率(false discovery rate)，它是由于在现代科学研究中的海量数据和假设范围很大而发展起来的。 当然，统计学拥有统计工具一点也不比数学家拥有数学工具多。确实，大多数的统计应用和统计研究是由其它学科领域的科学家得到的。统计研究的基本作用是发展新工具用于尖端科学。本报告的后一节我们将描述近年来产生的非常激动人心的统计研究的可能性。特别，数据收集和储存的可能性已打开了对数