大数据分析 步骤.pdfVIP

大数据分析步骤

大数据处理流程主要包括数据收集、数据预处理、数据存储、

数据处理与分析、数据展示/数据可视化、数据应用等环节，其中数

据质量贯穿于整个大数据流程，每一个数据处理环节都会对大数据

质量产生影响作用。通常，一个好的大数据产品要有大量的数据规

模、快速的数据处理、精确的数据分析与预测、优秀的可视化图表

以及简练易懂的结果解释，本文将基于以上环节分别分析不同阶段

对大数据质量的影响及其关键影响因素。

一、数据收集

在数据收集过程中，数据源会影响大数据质量的真实性、完整

性数据收集、一致性、准确性和安全性。对于Web数据，多采用网

络爬虫方式进行收集，这需要对爬虫软件进行时间设置以保障收集

到的数据时效性质量。比如可以利用易海聚采集软件的增值API设

置，灵活控制采集任务的启动和停止。

二、数据预处理

大数据采集过程中通常有一个或多个数据源，这些数据源包括

同构或异构的数据库、文件系统、服务接口等，易受到噪声数据、

数据值缺失、数据冲突等影响，因此需首先对收集到的大数据集合

进行预处理，以保证大数据分析与预测结果的准确性与价值性。

大数据的预处理环节主要包括数据清理、数据集成、数据归约

与数据转换等内容，可以大大提高大数据的总体质量，是大数据过

程质量的体现。数据清理技术包括对数据的不一致检测、噪声数据

的识别、数据过滤与修正等方面，有利于提高大数据的一致性、准

确性、真实性和可用性等方面的质量;

数据集成则是将多个数据源的数据进行集成，从而形成集中、

统一的数据库、数据立方体等，这一过程有利于提高大数据的完整

性、一致性、安全性和可用性等方面质量;

数据归约是在不损害分析结果准确性的前提下降低数据集规

模，使之简化，包括维归约、数据归约、数据抽样等技术，这一过

程有利于提高大数据的价值密度，即提高大数据存储的价值性。

数据转换处理包括基于规则或元数据的转换、基于模型与学习

的转换等技术，可通过转换实现数据统一，这一过程有利于提高大

数据的一致性和可用性。

总之，数据预处理环节有利于提高大数据的一致性、准确性、

真实性、可用性、完整性、安全性和价值性等方面质量，而大数据

预处理中的相关技术是影响大数据过程质量的关键因素

三、数据处理与分析

1、数据处理

大数据的分布式处理技术与存储形式、业务数据类型等相关，

针对大数据处理的主要计算模型有MapReduce分布式计算框架、分

布式内存计算系统、分布式流计算系统等。MapReduce是一个批处

理的分布式计算框架，可对海量数据进行并行分析与处理，它适合

对各种结构化、非结构化数据的处理。分布式内存计算系统可有效

减少数据读写和移动的开销，提高大数据处理性能。分布式流计算

系统则是对数据流进行实时处理，以保障大数据的时效性和价值

性。

总之，无论哪种大数据分布式处理与计算系统，都有利于提高

大数据的价值性、可用性、时效性和准确性。大数据的类型和存储

形式决定了其所采用的数据处理系统，而数据处理系统的性能与优

劣直接影响大数据质量的价值性、可用性、时效性和准确性。因此

在进行大数据处理时，要根据大数据类型选择合适的存储形式和数

据处理系统，以实现大数据质量的最优化。

2、数据分析

大数据分析技术主要包括已有数据的分布式统计分析技术和未

知数据的分布式挖掘、深度学习技术。分布式统计分析可由数据处

理技术完成，分布式挖掘和深度学习技术则在大数据分析阶段完

成，包括聚类与分类、关联分析、深度学习等，可挖掘大数据集合

中的数据关联性，形成对事物的描述模式或属性规则，可通过构建

机器学习模型和海量训练数据提升数据分析与预测的准确性。

数据分析是大数据处理与应用的关键环节，它决定了大数据集

合的价值性和可用性，以及分析预测结果的准确性。在数据分析环

节，应根据大数据应用情境与决策需求，选择合适的数据分析技

术，提高大数据分析结果的可用性、价值性和准确性质量。

四、数据可视化与应用环节

数据可视化是指将大数据分析与预测结果以计算机图形或图像

的直观方式显示给用户的过程，并可与用户进行交互式处理。数据

可视化技术有利于发现大量业务数据中隐含的规律性信息，以支持

管理决策。数据可视化环节可大大提高大数据分析结果的直观性，

便于用户理解与使用，故数据可视化是影响大数据可用性和易于理

解性质量的关键因素。