大数据技术原理与应用-完整版.pptVIP

《大数据技术原理与应用》

主讲教师：

课程特色

ü搭建起通向“大数

据知识空间”的桥

梁和纽带

ü构建知识体系、阐

明基本原理

ü引导初级实践、了

解相关应用

ü为学生在大数据领

域“深耕细作”奠

定基础、指明方向

内容提要

n本课程系统介绍了大数据相关知识，共有13章

n系统地论述了大数据的基本概念、大数据处理架

构Hadoop、分布式文件系统HDFS、分布式数据

库HBase、NoSQL数据库、云数据库、分布式并

行编程模型MapReduce、流计算、图计算、数据

可视化以及大数据在互联网、生物医学和物流等

各个领域的应用

n在Hadoop、HDFS、HBase和MapReduce等重要

章节，安排了入门级的实践操作，让学生更好地

学习和掌握大数据关键技术

篇章安排

第一篇：大数据基础篇

第二篇：大数据存储篇

第三篇：大数据处理与分析篇

第四篇：大数据应用篇

第一篇：大数据基础篇

第二篇：大数据存储篇

第三篇：大数据处理与分析篇

第四篇：大数据应用篇

各章内容

第一章大数据概述

第二章大数据处理架构Hadoop

第三章分布式文件系统HDFS

第四章分布式数据库HBase

第五章NoSQL数据库

第六章云数据库

第七章MapReduce

第八章流计算

第九章图计算

第十章数据可视化

第十一章大数据在互联网领域的应用

第十二章大数据在生物医学领域的应用（自学）

第十三章大数据的其他应用（自学）

第一章大数据概述

提纲

1.1大数据时代

1.2大数据概念

1.3大数据的影响

1.4大数据的应用

1.5大数据关键技术

1.6大数据计算模式

1.7大数据产业

1.8大数据与云计算、物联网的

关系

1.1大数据时代

1.1.1第三次信息化浪潮

n根据IBM前首席执行官郭士纳的观点，IT领域每隔十五年

就会迎来一次重大变革

表1-1三次信息化浪潮

信息化浪潮发生时间标志解决问题代表企业

、、

年前IntelAMDIBM

第一次浪潮1980个人计算机信息处理、苹果、微软、联

后

想、戴尔、惠普等

雅虎、谷歌、阿里

年前

第二次浪潮1995互联网信息传输巴巴、百度、腾讯

后

等

物联网、云

年前将涌现出一批新的

第三次浪潮2010计算和大数信息爆炸

后市场标杆企业

据

1.1.2信息科技为大数据时代提供技术支撑

1.存储设备容量不断增加，速度不断提升，

价格却在不断下降

图1-1存储价格随时间变化情况

1.2信息科技为大数据时代提供技术支撑

来自斯威本科技大学（SwinburneUniversityofTechnology）

的研究团队，在2013年6月29日刊出的《自然通讯（Nature

Communications）》杂志的文章中，描述了一种全新的数据

存储方式，可将1PB（1024TB）的数据存储到一张仅DVD大

小的聚合物碟片上。

1.1.2信息科技为大数据时代提供技术支撑

2.CPU处理能力大幅提升

图1-3CPU晶体管数目随时间变化情况

1.1.2信息科技为大数据时代提供技术支撑

摩尔定律：CPU性