统计学方法的发展及其在大数据中的应用.docx

?

?

统计学方法的发展及其在大数据中的应用

?

?

邓施明

摘要：在信息化时代的背景下，信息数据在获取和处理上面都产生了巨大的进步，这在一定程度上也推动了统计学的发展，并且促使统计学方法在各个领域范围内都有广泛应用。通过探讨统计学方法的发展趋势以及统计学方法在大数据中的具体应用，对于未来的统计学研究发展方向具有重要意义。因此，本文也将围绕统计学方法的发展历程展开论述，并在此基础上探讨和研究统计学方法在大数据中的应用，希望通过本文分析，能为相关研究人员提供可供参考的价值。

关键词：统计学方法;大数据;发展及应用

前言

统计实践活动最初只是方便人们计数和描述，随着经济的发展以及科学技术的进步，统计学方法也在不断发展壮大，作用也不仅仅是用来计数和描述，涉及的范围更加丰富多样。并且，经过相关专家的深入研究和分析讨论，统计学方法也得以完善和改进，更好地发挥其本身的价值。由此可见，在当前大数据时代背景下，深入研究统计学的发展史以及实际应用，对于未来统计学的发展有着至关重要的作用。

一、统计学方法的发展概述

（一）概率论是统计学发展的基石

概率论是数学家通过解答赌博中的大量问题而诞生出来的一门学科，这门学科使得概率计算从最初的简单计数进入到较为精细的阶段。早期概率论与统计学的关系还没有十分密切，随着数学理论的完善，概率论才有了更为严谨的数学基础，加深了与统计学的交集。而大数定律的提出，为统计方法和理论提供了基础，随后又提出了中心极限定理，这也是概率论研究的中心，这个定理是数理统计学中大样本方法的基础。之后诞生的随机过程，将随机变量从静态转到动态，极大地拓宽了概率论的应用及研究范围。

（二）数理统计是统计学与实践结合的开始

数理统计也就是逆概率，是指用结果推原因，为了研究统计推断问题，各个统计学专家由此产生了两个体系，分别是频率学派和贝叶斯学派。在某些特定情况下，贝叶斯学派的方法会比较方便，而在一些非参模型下，则是频率学派的方法更为便捷，两者是相互补充的关系。由此来看，数理统计是统计学与实践结合的开始，是统计学发展历程中非常重要的环节，同时也为未来的统计学预测、控制等功能奠定了基础。

（三）回归分析的提出与发展

回归分析是生物学家将理论与实践相结合的成果，对于统计学的发展具有重要意义。高尔顿运用统计学方法研究遗传学，并从中发现了非常重要的统计学方法与理论。这些理论对于实际生活都有非常大的促进作用，通过运用回归分析，探索数据之间的相互关系，能对生产生活中的事物进行预测和判断，促进相关工作的有效开展。由此可见，回归分析的提出使得统计学的内容和应用范围更加廣泛。

（四）多元统计分析的提出与发展

多元统计分析的方法对于统计学的发展也具有重要作用，其主要应用在多个对象和多个指标的情况下。多元统计分析包含的内容非常多，比如聚类分析、因子分析以及多元回归分析等等。随着科技的不断进步，多元统计分析的方法也越来越受到重视，被广泛地应用到各个学科和生产当中。并且，在信息化时代的背景下，多元统计分析还能与数据库技术相结合，使得海量数据的处理效率大大提升。

二、统计学方法在大数据中的应用

（一）“大数定律”在大数据分析中的应用

随着信息技术与互联技术的普及，互联网平台的交易活动也越来越频繁，这就使得海量的数据信息被生产出来。有调查发现，就某个单一品种的商品而言，其每秒所产生的数据就有12个，按照这样的速度下去，则1个小时就能产生43200个有效数据信息，如果没有统计学思想的指导，仅仅依靠大数据分析，则会降低数据分析效果。而将“大数定律”的统计学方法运用到大数据分析当中，就能很好地提升工作效率，并且还可以避免不必要的资源浪费。比如，将该定律中的“收敛值”运用到大数据分析中，就能让相关人员有一个明确的分析目标，排除一些干扰选项，使得分析人员用较短的时间就能分析出其中的规律，极大地提高了工作效率。此外，利用“大数定律”还可以实现事物未来发展状况的预测。

（二）多元统计分析在大数据分析中的应用

多元统计分析方法在大数据中的应用主要包括两方面：主成分分析和聚类。主成分分析方法是将多个指标转为几个综合指标，这在大数据分析中通常被当作是一种降维方法。在大数据背景下，相关技术人员在海量数据的处理过程中，由于变量个数过多，会严重影响和干扰模型的运行效率，而运用主成分分析方法，能有效减少变量的个数，并且还能避免数据信息的遗漏，得到更多的信息。这种方法适用于处理海量数据的情况，不仅能减轻工作量，将数据化繁为简，并且还能减少模型的运算消耗。其次是聚类，这种方法正处于发展阶段，其主要表现形式就是将一些没有标记的变量进行分类，有不同的分类方法。在大数据分析中，运用聚类方法，能将大量未知标注的数据集进行分类处理，既能区分类别内的数据信息，也能区别不同类别的数据信息，极大地提高了工作