云数据采集中心与大数据计算平台建设的方案..doc

CC 云数据采集中心及大数据计算平台  建设方案 成都中蓝信息技术有限责任公司  目 录 1 引言 ............................................................................................................................. 5 1.1 项目背景 ............................................................................................................... 5 1.2 项目目标 ............................................................................................................... 5 1.3 建设原则 ............................................................................................................... 6 1.4 参考规范 ............................................................................................................... 7 1.5 名词解释 ............................................................................................................... 9 2 云数据采集中心 ........................................................................................................ 10 2.1 需求概述 ............................................................................................................. 10 2.2 总体设计 ............................................................................................................. 13 2.3 核心技术及功能 .................................................................................................. 18 2.3.1 分布式文件存储技术..................................................................................... 18 2.3.2 分布式并行计算技术..................................................................................... 27 2.3.3 分布式数据库技术 ........................................................................................ 31 2.3.4 负载均衡 ....................................................................................................... 34 2.3.5 数据采集 ....................................................................................................... 39 2.3.6 开放平台 ....................................................................................................... 45 2.4 部署方案 ..............