《大数据存储技术与应用》课件 项目一_任务二 走进大数据存储技术.pptxVIP

《大数据存储技术与应用》

项目一走进大数据存储

任务二走进大数据存储技术

INFORMATION/COMMUNICATION/TECHNOLOGY

回顾

什么是大数据?

大数据的5V特征?

大数据的分类?

大数据的处理流程?

INFORMATION/COMMUNICATION/TECHNOLOGY

5G时代的到来，各种数据呈几何级增加，数据

已然成为一种非常宝贵的战略资源备受关注。

大数据存储与管理技术成为大数据技术中的主要问题之一。

鲁

TEST

5G

任务引入

/COMMUNICATION

/TECHNOLOGY

INFORMATION

■■1

每日出行会产生哪些数据?

X

个人拨打电话、微信会产生哪些数据?

□

上网购物会产生哪些数据?

∠

视频监控会产生哪些数据?

任务引入-5G时代的大数据

INFORMATION/COMMUNICATION/TECHNOLOGY

任务概要

任务描述：

本节阐述了大数据存储架构和大数据存储技术路线，分析了大数据存储技术，介绍了大数据存储发展过程中的几种大数据存储系统。

任务教学目标：

1.理解大数据存储系统架构

2.理解大数据存储技术路线

3.掌握大数据存储架构、存储技术的具体应用

INFORMATION/COMMUNICATION/TECHNOLOGY

教学内容

INFORMATION/COMMUNICATION/TECHNOLOGY

知识点一

按技术分类

INFORMATION/COMMUNICATION/TECHNOLOGY

改进现有的数据存储与管理技术，以满

足大数据应用中数据被高效、安全地长期保存、快速管理、实时调用和实时处理的需求，是大数据技术中的主要问题之一，也是大数据存储的目标所在。

(一)大数据存储技术概述

INFORMATION/COMMUNICATION/TECHNOLOGY

9

1.存储架构分类

按技术分类

·基于嵌入式架构的存储·基于X86架构的存储

·基于云技术的存储

按数据结构分类

·结构化数据存储架构

·半结构化数据存储架构·非结构化数据存储架构

(二)大数据存储架构

INFORMATION/COMMUNICATION/TECHNOLOGY

基于云技术的存储方案

结构模型由4层组成，分别是存储层、基

础管理层、应用接口层和访问层。

节点NVR(Network

VideoRecorder,网络硬盘录像机)架构主要面向小型高清监控系统。

这种架构有存储系

统扩展性好、硬件平台通用、数据可充分共享等优点。

基于嵌入式架构的存储系统]基于X86架构的存储系统

(二)大数据存储架构

2.按技术分类

INFORMATION/COMMUNICATION/TECHNOLOGY

(三)基于嵌入式架构的存储系统

INFORMATION/COMMUNICATION/TECHNOLOGY

12

(四)基于云技术的存储方案

云存储系统的结构模型由4层组成，分别是存储层、基础管理层、应用

接口层和访问层。

INFORMATION/COMMUNICATION/TECHNOLOGY

13

按数据结构分类

知识点二

INFORMATION/COMMUNICATION/TECHNOLOGY

(一)结构化数据存储架构

大数据存储按照数据结构分为：

●结构化数据存储架构

·半结构化数据存储架构

·非结构化存储架构。

典型的结构化数据存储系统：

PostgreSQL数据存储系统；

GreenPlum并行数据存储系统等。

MassivelyParallelDataPlatformTheWorldsFirstOpen-Source

Postgresinside

15

(二)半结构化数据存储系统

典型的半结构化数据存储系统有Redis和ElasticSearch。

INFORMATION/COMMUNICATION/TECHNOLOGY

16

(三)非结构化数据存储架构

非结构化数据存储是指为文档、视频、音频等非结构化数据设计的存储架构。

云存储服务根据教学实际进行选择，在客户端VMWare中安装配置。

openstack

ceph

INFORMATION/COMMUNICATION/TECHNOLOGY

17

GreenPlum数据库是一种大规模

并行处理(MPP)