大数据时代数据分析方法概述.docx

?

?

大数据时代数据分析方法概述

?

?

龙草芳

摘要：随着大数据及人工智能时代的到来，数据分析逐渐成为数据科学研究中的一个重要领域。本文主要介绍了数据分析的概念、数据分析方法、常用分析工具。

关键词：大数据;人工智能;数据分析

：TP393???：A

：1009-3044（2019）14-0226-02

1数据分析

20世纪初期如果要对一问题进行分析，需要人们手工计算，这导致运算速度非常慢，随着时间的流逝，现在的数据量远远超过以前的运算规模，传统手工的计算手段更加满足不了现在的需求。

为了解决运算的问题，人们一直在致力这方面的研发，用电子代替人工。随着计算机的出现和发展，这一问题被有效地解决了，人们进入了自动化时代。移动互联网时代的来临直接推进了大数据时代的到来。如何处理分析这些数据得到有效的信息，这是个巨大的挑战，人们不断地在寻求合适的解决方案。

众所周知，大数据不单是数据量大的事情，最重要的是怎么利用好这些大数据，也就是对大数据进行分析，通过分析得到有价值的信息，并将这些信息加工成人们可快速、准确理解的知识。现在越来越多的行业应用涉及了大数据，例如金融、零售业、医疗、电信、航空等。这些行业应用不断地产生大量数据，而这些数据的属性，包括数量，速度，多样性，复杂性等都在呈现不断增长的复杂性，这些都要通过合适的分析方法来处理，所以说大数据的分析方法起到决定性作用。

数据分析是指用适当的分析方法和工具对准备好的数据进行分析和解释，提取出有用的信息，以得到有效的结论并通过可视化技术展现出来的过程。因此，要学习数据分析首先需清楚数据分析与数据展现的方法以及对数据分析工具的使用。

2数据分析方法

目前，数据分析方法中常见的基本分析方法包括对比分析、趋势分析、差异显著性检验、分组分析法、结构分析、因素分析法、交叉分析法、综合评价分析法等。

2.1对比分析

对比分析也称为比较分析，该方法通过对客观事物进行对比，从而认识事物的本质以及挖掘事物的规律并给出准确的评价。对比分析的分析对象一般为相互联系的两个指标数据，它主要展示与说明研究对象水平的高低、速度的快慢、规模的大小以及各关系之间是否协调。

2.2趋势分析

趨势分析是指将实际达到的结果，通过比较同类指标不同时期的数据，继而明确该指标的变化趋势以及变化规律的一种分析方法。趋势分析主要是运用在财务分析方面，具体的分析方法包括定比和环比两种方法。定比分析是报告分析期的水笔比上某一特定时期的水平，它阐释的是该现象在不短的一段时期内总的变化水平。环比分析指的是报告分析期水平比上前一时段水平，表示是逐期变化趋势的现象，然后通过本期数据与上期数据的对比，形成时间序列图。

2.3显著性检验

“显著性检验”是SignificanceTest翻译过来的，在统计学中，显著性检验属于“统计假设检验”（Statisticalhypothesistesting）一类，显著性检验是用于检测科学实验中实验组对照组之间是否有差异及差异是否显著的办法。事先要设立一个假设，然后判断该假设是否合理，即判断假设与真实情况是否存在显著性差异。或者说，显著性检验是判断样本与对总体所做的假设之间的差异是属于机会变异，还是由所做的假设与总体真实情况之间不一致而产生的差异。

2.4分组分析

分组分析法是将总体数据按照某一特征划分成若干个部分再加以分析的一种方法。是根据目标数据的性质、特征，按照一定指标，将数据总体划分成几个部分，来认识所要分析对象的不同特征，不同性质以及相互关系的方法。

分组时需要遵循穷尽原则和相互独立原则。穷尽原则：即分组中要包含所有数据，不能遗漏，各组的空间能容纳所有的数据。相互独立原则：即分组之间不能交叉，组别之间差异明显，一个数据只能归属于某一个组。

2.5结构分析

结构分析是建立在对比分析的基础上，扩大对比范用，然后运用结构分析进行一一比较，通过结构指标来解释企业资源结构分布、生产布局的状况，便于经营者进行调整，投资者长期决策。

结构指标（%）=（总体中某一部分总体总量）X100%

结构指标是指总体某一部分占总体总量的比重，总体中各个部分的结构相对数的和等于100%。

结构分析广泛应用于财政收支领域，它能够从不同的维度展开结构分析，如科目结构、区域结构等。同时饼图、圆锥图和金字塔图等都是开展结构分析的有效工具。根据关注的时间，可分成静态结构分析和动态结构分析;根据关注的对象，结构分析可分成增量结构分析、元素的比重分析以及总量结构分析。

2.6因素分析

因素分析法是斯皮尔曼（C.Spearman）在1904年提出的，根据分析指标与其影响因素的关系，从而确定不同因素对分析指标影响程度以及影响方向的一种方法。因素分析法既能够独立分析某个因素对经济指标的影响，又能够全面分析各因素对某一经济