企业大数据分析平台建设方案.pdfVIP

企业大数据分析平台建设方案

1

面对海量的各种来源的数据，如何对这些零散的数据进行有效的分析，得到有价值的信息一直是大数

据领域研究的热点问题。

大数据分析处理平台就是整合当前主流的各种具有不同侧重点的大数据处理分析框架和工具，实现对

数据的挖掘和分析，一个大数据分析平台涉及到的组件众多，如何将其有机地结合起来，完成海量数据的

挖掘是一项复杂的工作。在搭建大数据分析平台之前，要先明确业务需求场景以及用户的需求，通过大数

据分析平台，想要得到哪些有价值的信息，需要接入的数据有哪些，明确基于场景业务需求的大数据平台

要具备的基本的功能，来决定平台搭建过程中使用的大数据处理工具和框架。

2

（1）操作系统的选择操作系统一般使用开源版的RedHat、Centos或者Debian

作为底层的构建平台，要根据大数据平台所要搭建的数据分析工具可以支持的

系统，正确的选择操作系统的版本。

（2）搭建Hadoop集群Hadoop作为一个开发和运行处理大规模数据的软件

平台，实现了在大量的廉价计算机组成的集群中对海量数据进行分布式计算。

Hadoop框架中最核心的设计是HDFS和MapReduce，HDFS是一个高度容错

性的系统，适合部署在廉价的机器上，能够提供高吞吐量的数据访问，适用于

那些有着超大数据集的应用程序；MapReduce是一套可以从海量的数据中提取

数据最后返回结果集的编程模型。在生产实践应用中，Hadoop非常适合应用

于大数据存储和大数据的分析应用，适合服务于几千台到几万台大的服务器的

集群运行，支持PB级别的存储容量。Hadoop家族还包含各种开源组件，比如

Yarn，Zookeeper，Hbase，Hive，Sqoop，Impala，Spark等。使用开源组

件的优势显而易见，活跃的社区会不断的迭代更新组件版本，使用的人也会很

多，遇到问题会比较容易解决，同时代码开源，高水平的数据开发工程师可结

合自身项目的需求对代码进行修改，以更好的为项目提供服务。

3

（3）选择数据接入和预处理工具面对各种来源的数据，数据接入就是将这些零

散的数据整合在一起，综合起来进行分析。数据接入主要包括文件日志的接入、

数据库日志的接入、关系型数据库的接入和应用程序等的接入，数据接入常用

的工具有Flume，Logstash，NDC（网易数据运河系统），sqoop等。对于实

时性要求比较高的业务场景，比如对存在于社交网