大数据技术基础.pptxVIP

大数据技术基础

•大数据概述

•大数据技术架构

CATALOGUE•大数据采集与预处理

•大数据存储与管理

目录•大数据分析与挖掘

•大数据应用实践

01

大数据概述

大数据定义与特点

定义

大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数

据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能

力的海量、高增长率和多样化的信息资产。

特点

大数据具有数据量大、数据种类多、处理速度快、价值密度低四个基本特征。

大数据发展历程

发展期

2009年至2012年，大数据逐渐受

萌芽期到关注，出现了Hadoop等分布式

处理技术，数据处理能力得到大幅

20世纪90年代至2008年，大数据提升。

概念开始萌芽，此时的数据处理

以批处理为主。

成熟期

2013年至今，大数据技术逐渐成熟，

应用领域不断拓展，数据处理和分

析能力得到进一步提升。

大数据应用领域

金融领域政府领域

大数据在金融领域的应用主要大数据在政府领域的应用主要

包括风险管理、客户分析、投包括城市规划、交通管理、公

资决策等方面。共安全等方面。

互联网领域医疗领域其他领域

大数据在互联网领域的应用主大数据在医疗领域的应用主要大数据还在教育、能源、农业

要体现在个性化推荐、精准营体现在疾病预测、个性化治疗、等领域发挥着重要作用。

销、社交网络分析等方面。医疗资源优化等方面。

02

大数据技术架构

分布式文件系统

Hadoop分布式文件系统（HDFS）

一种高度容错性的系统，适合部署在廉价的机器上，提供高吞