大数据主要所学技术(简介).pdfVIP

大数据主要所学技术（简介）

目录

大数据主要所学技术简介：

一：大数据技术生态体系

二：各个技术栈简介

一：大数据技术生态体系

二：各个技术栈简介

Hadoop

hadoop是一个用java实现的一个开源框架，是一种

用于存储和分析大数据的软件平台，专为离线数据而

设计的，不适用于提供实时计算。对海量数据进行分

布式计算。Hadoop=HDFS（文件系统，数据存储相关

技术）+Mapreduce（数据处理）+Yarn（运算资

源调度系统）

zookeeper

对于大型分布式系统，它是一个可靠的协调系统。提

供功能:[本质是为客户保管数据，为客户提供数据监

控服务]

1.统一命名服务：在分布式环境下，经常需要对应

用/服务进行统一命名，便于识别。例如：一个域名

下可能有多个服务器，服务器不同，但域名一样。

2.统一配置管理：把集群统一配置文件交给

zookeeper

3.统一集群管理：分布式环境中，实时掌握集群

每个节点状态，zookeeper可以实现监控节点状态的

变化。

4.服务器动态上下线：客户端能实时洞察到服务

器上下线变化。

5.软负载均衡：在zookeeper中记录服务器访

问数，让访问数最小的服务器去处理必威体育精装版的客户端请

求

Hive

hive是由facebook开源用于解决海量结构化日志的

数据统计，是一个基于hadoop的数据库工具，可以

将结构化数据映射成一张数据表，并提供类SQL的查

询功能，本质是将SQL语句转化为MapReduce程序。

用hive的目的就是避免去写MapReduce，减少开发人

员学习成本。

Flume

Flume是hadoop生态圈中的一个组件，主要应用于实

时数据的流处理，是一个高可用，高可靠，分布式的

海量日志采集，聚合和传输的系统。支持多路径流

量，多管道接入流量，多管道接出流量。

含有三个组件：

source【收集】

•

channel【聚集，一个通道，类似数据缓冲

•

池】

sink【输出】

•

基础架构：

Kafka

分布式的基于发布/订阅模式的消息队列。主要用于

大数据实时处理领域，主要功能可概括为三句话：

生产者发生消息给kafka服务器

消费者从kafka服务器读取消息

kafka服务器依托zookeeper集群进行服务的协调管

理

Hbase

Hbase是构建在HDFS之上的分布式，面向列的存储系

统，在需要读写时，随机访问超大规模数据库集时，

可使用Hbase。Hbase利用HDFS作为其文件存储系

统，利用MapReduce来处理hbase中的海量数据

Sqoop

sqoop是一个关系型数据库于hadoop间的数据同步的

工具。

sqoopimport:将数据从关系型数据库导入

hadoop中

sqoopExport：将数据从hadoop中导入到关系型

数据库中