大数据导论PPT全套完整教学课件.pptx

随着信息技术的迅猛发展和普及应用，行业应用系统的规模迅速扩

大，其所产生的数据呈指数型增长。达到PB(1024TB)级规模的海量数据已远远超出了传统的计算技术和信息系统的处理能力，从而促进了大数据(BigData)的产生。

本课件是可编辑的正常PPT课件

第1章大数据概述1117

第2章大数据与云计算

第3章从产业结构来探索大数据技术第4章大数据的硬件架构——集群

第5章大数据开发与计算技术

第6章大数据存储技术

第7章大数据分析

第8章大数据与人工智能

第一章大数据概述

大数据的发展趋势

本课件是可编辑的正常PPT课件

大数据的数据特征及对科学研究的影响

大数据的可用性及衍生价值

大数据概述

大数据的数据类型

什么是大数据

PART01

什么是大数据

目前，我们已经进入大数据时代，但对很多人来说，什么是大数据，大数据是怎么产生的，它有什么用?从计算机的角度认识从信息时代怎么进入大数据时代的，这些东西并不清楚，所以本节主要解决以上问题，让我们能够从科学的角度认识大数据。

本课件是可编辑的正常PPT课件

Hadoop大数据技术

分布式数据库原理数据导入与处理应用

数据仓库与挖提技术

数据可视化技术

大数据应用开发语言

机器学习

商务智能方法与应用

大数据分析与内存计算

Hadoop部薯实战

数据可视化开发实验(开发项目型

数握陵处理实战(望杂

实操型)

毕业实习

毕业论文(设计)

创新项目学分(VIP项目

大数据课程

核心课程专业方向实践

大数据的人才培养

通识模块基础性学科

准职业人导向训练一

准职业人号向训练二职业定位与发属一职业定位与发展二

的新的业实

求职能力提升训练

高等数学

线性代数

概率论

Java

Linux

数据结构

大数据概论

)

大数据的人才培养

数据分析师能力占比

SQL数据库基础10%

数据采集与处理

20%

数据分析概念与

统计学基础

30%

数据建模分析40%

具有数据分析的概念及方法论；可以分

析描述性统计分析和推断性统计分析；

方差分析；回归分析等能力

具有SQL关系型数据库基本概念；熟练使用增删改查SQL语言；熟练使用SQL函

数；对事务和多用户并发有处理办法等

掌握数据采集的方法；做过市场调研；

掌握数据预处理方法；可以将数据可视

化等

掌握主成分分析法；因子分析法；多元回归分析法；聚类分析法；时间序列等

本床I十人E口J匀册干耳HJ市木I干

SQL数据库基础

数据采集与处理

数据建模分析

大数据的人才培养

数据分析概念与统计学

数据分析师能力

大数据的人才培养

大数据分析师能力占比

方法

Spark工具及实战

41%

Hadoop理论14%

数据理论工具

18%

大数据分析实战1%

基础理论

9%

数据可视化

数据挖掘12%

具有大数据分析基础；Python基础；LinuxUbuntu操作系统基础等

具有Hadoop相关知识；了解HDFS分布式文件系统；MapReduce理论实战等Hadoop其他组件

具有数据库理论基础；熟练掌握MySQL或Oracle数据库或其他关系型数据库；Hbase,Hive,Sqoop使用；

具有数据挖掘基本思想；掌握有监督和无监督学习算法

掌握spark理论；SparkRDD基本概念及操作；

Spark流式计算框架SparkStreaming、StructuredStreaming;

Spark机器学习算法库SparkMLlib基本使用方法

掌握数据可视化基础；Python数据可视化；Python高级数据可视化方法

可以利用HDFSShell操作HDFS文件系统；利用HiveSQL进行数据清洗；;利用Sqoop进行数据传输；利用SparkSQL进行数据读取；利用SparkMLlib进行机器学习建模；利用Python进行建模结果数据可视化

大数据的人才培养

大数据基础理论

Hadoop理论

数据库理论及工具

数据挖掘

Spark工具及实战

大数据可视化

大数据分析实战

大数据分析师能力

伯纳斯·李：欧洲核子研究中心

生产数据的三个阶段

1.被动式生成数据是由于数据库技术的产生

2.主动式生成数据是由于万维网的发明与发展本课或蜀的亚摔网的课通发展

1.1.1大数据的来源

√Web2.0的发展大大加速了数据的产生，人们可以通过手机、电脑等终端

随时随地生成数据。据