大数据的数据处理过程.docx

大数据的数据处理过程

大数据处理过程可以概括为从数据产生开始，经历采集、管理、计算分析，最后经过可视化分析将结果呈现出来的过程。

1、数据采集指从现实世界中采集数据，并对数据进行计量和记录

数据采集的工具很多，比如摄像头、话筒。一个数据采集系统整合了信号、传感器、数据采集设备和应用软件等。除了传感器采集的数据外，数据来源还包括关系数据库、互联网爬取的公开数据、系统运行日志等。采集到的数据类型也是复杂多样的，包括结构化数据、半结构化数据、非结构化数据等。获取数据后，还需要对数据进行变换、清洗等预处理，输出满足数据应用要求的数据。

2、数据管理指对数据进行分类、编码、存储、索引和查询等，是数据从存储到查询检索的核心

数据管理的方式比较多样，从文件管理数据，到数据库、数据仓库技术的成熟，再到大数据时代新型数据存储技术，如Hadoop分布式文件系统以及NoSQL数据库。

3、计算分析指从大规模、杂乱无章的数据中揭示隐含的内在规律，发掘有用的知识，指导人们进行科学的推断和决策

通常计算分析可以划分为描述性分析、诊断性分析、预测性分析和规范性分析。其方式为对数据建模，根据数据模型建立一定的数据计算方法和数据指标。一般来说，在一个比较成熟的行业里，数据指标相对是比较固定的，只要对业务有足够的了解是比较容易建立起数据模型的。如用SQL对数据进行筛选和洗涤，然后在数据之间尝试寻求因果关系或产生影响的逻辑。

4、可视化分析指将数据转换为图形、图像，通过提供交互，帮助用户高效地完成对数据的理解、分析

它涉及计算机图形学、图像处理、计算机视觉、计算机辅助设计等多个领域，成为研究数据表示、数据处理、决策分析等一系列问题的综合技术。可视化分析可以帮助企业在较短的时间内浏览、分析更多的数据，快速做出业务决策，改进策略，推动业务增长，从而使其能更好地适应市场发展。