大数据中心建设思路.ppt

* 国网数据仓库的总体实施策略是以降低风险为原则，通过试点建设积累经验，验证方法，从而形成国网成熟的统一的数据模型标准，数据管控方法和流程，数据仓库体系架构。然后再大面积推广。这样可以保证整个国网数据中心的建设在控、有序。 推广网省 试点网省 数据模型规划,提供基于业务数据主题的高层数据逻辑模型和细节数据物理模型 业务数据标准和代码指标准确的建立 设计数据仓库技术架构 制定数据标准管理及维护流程 制定数据质量管理策略和方法 数据按其敏感性、重要性建立一套完整的数据安全分级标准 试点的建设 宣贯推广 经验验证 执行督导 典型经验 数据模型标准 数据仓库技术架构 数据管理标准 业务数据标准 代码指标标准 采用试点先行，典型经验指导的策略实行全国网范围内的数据仓库建设 * 数据仓库开发的人员和组织 * 数据仓库开发的阶段、任务和流程 计划 分析 设计 开发 测试 部署 项目管理 培训及运行支持 复查期望目标 定义方案蓝图 评估现状能力 定义交付策略 评估风险 定义ETL功能、技术整合 设计开发执行运行环境 制定ETL、BI产品测试计划 制定UAT计划 开发BI前台展现组件 安装开发执行运行环境 部署ETL、BI组件测试计划 完成产品测试 完成UAT测试 评估部署就绪条件 完成数据转换 发布应用程序 完成操作就绪测试 完成性能测试 ETL高层需求确认 T T T T T T ETL开发流程 定义开发执行运行环境需求 定义报表详细规范 建立概念数据模型 定义终端用户访问技术需求 定义数据分析需求 性能测试计划 建立逻辑数据模型 建立物理数据模型 完成组件测试 在整个数据仓库开发过程中，非常关键的任务。需要设入较多的资源 * 计划阶段 计划阶段 复查期望目标 评估现状能力 定义方案蓝图 定义交付策略 回顾愿景及业务目标 定义方案蓝图 确认目标业务流程 定义交付策略 T T T T 评定当前业务流程 评定当前的 能力、 性能、风险 评定当前技术架构 评定当前应用程序 评定当前组织架构 评定元数据及数据管控 评定当前支撑能力 应用解决方案 技术解决方案 业务流程变更 解决方案 运维解决方案 定义开发策略 定义试点策略 定义测试策略 定义部署策略 定义元数据管理 定义数据管控策略 * 分析阶段 分析阶段 复查期望目标 定义数据分析需求 定义ETL高层需求 T T 建立概念数据模型 定义开发、执行、运行环境的具体需求 定义用户对数据访问的技术需求 制定UAT测试计划 制定产品测试计划 制定性能测试计划 评估风险 * 设计阶段 设计阶段 定义ETL功能技术整合方案高层需求 定义报表详细规范 T T 建立逻辑数据模型 制定技术架构及组装测试计划 设计开发、执行、运行环境的准备 * 开发阶段 开发阶段 ETL开发流程 BI前台组件开发 T T 建立物理数据模型 ETL、报表组件测试计划 开发、执行、运行环境的准备 * 数据中心共享演进 继续完善数据交换平台，提升交换效率、性能，足以支持远程大数据传输的实现。 在服务质量保证方面，关注数据交换场所的安全性、可靠性。 构建数据交换接口区数据接口规范，随着数据仓库建设的进度而扩展接口区数据规范。 综合数据交换区域 营销数据交换区域 生产数据交换区域 ERP数据交换区域 共享数据区域设计 总部深化数据获取日报数据 细化数据深度 提升数据共享性能 完善优化 完善特定业务需求的级联要求 基本成型 完成基于细粒度历史数据的专业分析数据 起步速成 完成基于粒度粗放数据的综合指标查询数据 * 展示层 数据分析 应用层 数据集市层 八大业务应用数据和其它外部数据 安全生产 财务绩效 设备生产 企业数据仓库(EDW) 数据仓库层 数据的抽取/清洗/整合 数据源层 安全生产分析 营销分析 财务绩效分析 电网运行分析 设备生产分析 人力资源分析 项目分析 物资分析 综合统计分析 电网运行 电力市场分析 人力资源 项目 电力市场 营销 物资 综合统计 网省电力公司数据仓库逻辑架构 数据应用分析通过企业级数据仓库及数据集市提供数据支持，并通过前端展示层将分析的结果用合适直观的方法展现给最终用户 * 数据仓库能力蓝图 数据仓库 集中整合 信息描述 数据移动 分析展现 质量保障 高级应用 提供多维分析能力，使得用户能够把一个实体的多项重要属性定义为多个维度进行深入分析，并能对不同维度值的数据进行比较；同时，还需具备数据挖掘能力，帮助业务分析人员在现有数据中识别数据的模式，针对整个企业的状况和未来发展作出较完整、合理、准确的分析和预测，从复杂难懂的数据中发掘出指引企业发展需要的路径 提供标准的报表和图表功能来帮助不同管理层人员做出正确决策；针对具体分析应用建立数据集市为前端提供高效的数据查询和分析服务 为了方便整个数