大数据治理体系和大数据架构技术方案.docx

目录 1 8 2 8 3 8 4 8 第 1 章 需求概述 8 1.1 背 景 概 述 8 1.2 建 设 目 标 8 1.3 需 求 理 解 10 1.4 面 临 挑 战 11 1.5 设计原则 12 第 2 章 总体技术方案 15 2.1 软 件 架 构 15 2.2 总体技术架构设计 16 2.3 功能组件完整性介绍 20 2.3.1、 数据集成组件(Data Hub) 25 、 数据采集 26 、 数据采集管理 33 2.3.2、 大数据计算存储平台(Hadoop Distribution) 35 、 海量数据集中存储 36 、 高效数据处理 37 、 分布式应用协调 42 、 计算资源分配控制 42 、 存储资源分配控制 43 、 平台高可用性 43 2.3.3、 算法与分析工具( Artificial Intelligence) 48 、 数据挖掘工具 50 、 R统计分析 53 、 Python统计分析 54 2.3.4、 数据资产管理( Data Governor) 54 、 元数据管理 55 、 数据标准与质量管理 58 、 数据生命周期管理 59 2.3.5、 数据可视化(Vision) 61 、 数据源 61 、 智能报表 62 、 仪表板 64 、 自助分析 66 、 多维分析 67 、 OFFICE插件 68 、 移动可视化 69 2.3.6、 系统运维监控(Manager) 70 、 安装部署 70 、 集群监控 71 、 服务管理 74 、 主机管理 76 、 告警管理 79 、 版本管理 81 、 日志管理 82 、 多租户管理 82 2.3.7、 架 构 优 化 设 计 86 、 统计分析和精确查询 86 、 Spark计算引擎结合分布式内存计算提供交互式统计分析能力 86 、 多种索引支持与智能索引 87 、 高并发、低延迟性能优化 88 、 计算资源有效管控 88 、 API设计和开发工具支持 89 、 接口开放性 89 、 第三方工具生态圈整合 91 、 扩容、备份、恢复机制 92 2.3.8、 功 能 优 势 说 明 93 2.3.9、 集 群 规 划 93 、 集群划分 93 、 数据仓库集群 94 、 历史数据分析探索集群 95 、 开发集群 96 、 测试集群 97 、 集群容量说明 98 、 硬件配置建议 98 数据仓库集群配置建议 98 历史数据分析探索集群配置建议 99 开发集群配置建议 99 测试集群配置建议 100 、 网络拓扑架构 100 2.4 系 统 基 本 功 能 点 101 2.4.1、 的发展紧随Apache社区 101 2.4.2、 集群内所有组件的管理节点均实现HA 102 2.4.3、 提供完全基于WEB图形化的集群服务器角色，配置和状态管理 102 2.4.4、 集群支持线性扩展 103 2.4.5、 100%兼容标准SQL92 103 2.4.6、 支持分布式文件系统HDFS和HBase等主流数据库 108 2.4.7、 支持多种计算执行引擎 108 、 内存计算框架 109 、 批量计算框架 111 、 流式计算框架 112 、 多维数据分析计算框架 113 2.4.8、 支持异构数据库关联查询 115 2.4.9、 支持大部分的机器学习和数据挖掘算法 116 2.4.10、 支 持 图 形 化 E T 117 2.4.11、 同时支持Solr和ElasticSearch 118 、 Elastic