大数据项目技术选型.pdfVIP

大数据项目技术选型--第1页

一、主流架构选用技术

二、Hadoop版本选型方案

三、选用的技术与其他工具的比照

四、大数据相关的技术选型版本确定

五、市场上的hadoop发行版厂商资料

六、具体操作

一、主流架构选用技术：

采集层：flume；sqoop

存储层：包括文件存储层和数据存储层

文件：采用hdfs存储

大数据项目技术选型--第1页

大数据项目技术选型--第2页

模型层：离线处理：实时流式处理（比的优势）

mr/yarn;sparkstreamingstorm

分析层：hive

管理层:〔调度；

zookeeperha]

二、Hadoop版本选型方案：

提供的经典方案〔

Hadoop：HDPHadoopDataPlatform]

管理一体化数据接入

FlumeScriptSQLNosqlStreamSearchIrrMemoryOthers

SqoopPigHiveHbaseStormSolrSparkYARN-ReadyApps

NFS

大数据项目技术选型--第2页

大数据项目技术选型--第3页

Falcon

HDFS

数据管理

三、选用的技术与其他工具的比照：

选用sqoop的好处：开源，抽取的数据可以直接传至hive,可操作性和可视性高

选用Flume的好处：纯Java开发，框架清楚，易于开发，可以直接写hdfs且支持对和

sequence压缩

选用Spark的好处：基于存，适合需要屡次迭代计算的算法，在迭代处理计算方

面比Hadoop快100倍以上，Spark采用一个统一的技术堆栈解决了云计算大数据

的所有核心问题

平安操作

认证，授权，审计，数据保护准备，管理，监控

Storage：HDFSAmbari

Resource：YARNZookeeper

Access：HiveOozie

Pipeline:Falcon

Cluster:Kno*

大数据项目技术选型--第3页

大数据项目技术选型--第4页

四、大数据相关的技术选型版本确定:

操作系统：Cent0S6*

各个技术版本：〔必威体育精装版，最稳定，bug少〕

Hadoop版本：

此版本是一个相对必威体育精装版且比拟稳定的版本，基数版本可能不稳定，最好选用偶数版本

Zookeeper版本：

此版本修复了此前的个问题，最明显的是在关闭时会产生的一个停

9zookeeper

顿问题。

Flume版本：

Kafka版本：

Spark版本：

此版本能支持以上的版本且相对稳定版

Sqoop版本：

Hive版本：

大数据项目技术选型--第4页

大数据项目技术选型--第5页

Mahout版本：

五、市场上的hadoop发行版厂商资料：

除了社区的ApacheHadoop夕卜，Cloudera,Hortonworks,MapR,EMC

版本：

IBM,Intel,