集团大数据平台系统配置方案.pdfVIP

集团大数据平台系统配置方案--第1页

集团大数据平台系统配置方案

1.1硬件系统配置建议

1.1.1基础Hadoop平台集群配置规划

根据此次大数据平台的建设要求，大数据平台需要满足全

量3PB数据的存储要求，根据数据的特点，大概30%为结

构化数据，70%为非结构化数据，并以此进行估算。其中：

1）结构化数据的数据量为：

3PB*30%=0.9PB=922TB（结构化数据全部进入数据

仓库）

对于结构化数据存储容量要求为：

922TB*(3+1+0.5)/3*1.3=1798TB

注：对结构化数据，采用3倍副本冗余存储，1倍中间结

果余留，0.5倍索引存储空间，3倍数据压缩，0.3倍空间余

留。

2）非结构化数据的数据量为：

3PB*70%=2.1PB=2151TB

对于非结构化数据存储要求为：

2151TB*3=6453TB

非结构化数据采用3倍副本冗余存储。

集团大数据平台系统配置方案--第1页

集团大数据平台系统配置方案--第2页

3）全量数据存储容量要求为：

1798TB（结构化数据）+6453TB（非结构化数据）

=8251TB

DataNode单节点存储容量推荐配置为：

4TB*12=48TB

基础Hadoop平台DataNode节点数为：

8251TB/48TB=172节点

因此，DataNode服务器推荐配置为：

表10-1推荐配置

服务器推荐配置及说明

节点数量172个节点

CPU两路8核处理器E5-2650v3或以上

内存128GBECCDDR4

2个600G的SAS硬盘，15000RPM，RAID1，

作为系统盘

硬盘

12个4TB的SATA硬盘，7200RPM，不做

RAID1

网络双电口万兆（10Gbps）以太网卡

另外：对于此次搭建的大规模Hadoop集群，需要单独

规划Zookeeper9个节点，NameNode2个节点，

ResourceManager2个节点，HMaster5个节点，总共

9+2+2+5=18个节点

集团大数据平台系统配置方案--第2页

集团大数据平台系统配置方案--第3页

综上所述，基础Hadoop平台节点规模如下：

表10-2节点规模

角色节点数量功能简述

（X86服务器