大数据平台数据治理项目建设方案.pdfVIP

大数据平台数据治理项目建设方案

大数据平台数据治理项目

建

设

方

案

目录

第1章方案总述(1)

1.1前言(1)

1.2项目背景(1)

1.3项目目标(2)

1.4项目建设原则(3)

第2章系统建设规划(4)

2.1项目建设目标的理解(4)

2.1.1项目建设范围(5)

2.1.1.1业务范围(5)

2.1.1.2组织范围(5)

2.1.1.3数据范围(5)

2.1.2项目建设内容(5)

2.1.2.1基础数据平台(5)

2.1.2.2集团级指标体系(7)

2.1.2.3统一报表平台(7)

2.2集团数据平台的建设目标(7)

2.2.1集团数据平台一期建设目标(7)

2.2.2集团数据平台二期建设目标(8)

第3章整体设计方案(9)

3.1系统设计方法论(9)

3.1.1方法论(9)

3.1.2设计原则(11)

3.1.2.1标准规范(11)

3.1.2.2开放性(12)

3.1.2.3可扩展性(13)

3.1.2.4高性能(14)

3.1.2.5可管理性(14)

3.1.2.6高可用性(15)

3.1.2.7安全性(16)

3.1.2.8可重用性(17)

3.2数据平台技术体系(18)

3.2.1数据平台逻辑架构(18)

3.2.1.1数据集成区(19)

3.2.1.2集团分析型数据区(19)

3.2.1.3管理平台区(20)

3.2.1.4统一报表展现平台(20)

3.2.1.5ETL设计关键技术点说明(21)

3.2.1.5.1.1ETL处理策略(21)

3.2.1.5.1.2ETL处理流程(21)

3.2.1.5.2质量检核(22)

3.2.1.5.2.1ETL处理原则(22)

3.2.1.5.2.2ETL处理方法(22)

3.2.2数据采集设计(22)

3.2.2.1T+1数据采集(23)

3.2.2.2数据补录(24)

3.2.2.2.1检核规则管理(25)

3.2.2.2.2录入任务管理(25)

3.2.2.2.3数据录入(27)

3.2.2.2.4查询操作(28)

3.2.2.2.5录入任务审批(29)

3.3数据平台数据体系(29)

3.3.1数据架构设计(29)

3.3.1.1源系统数据落地区(30)

3.3.1.2缓冲数据层(ODM)(31)

3.3.1.3基础整合层（FDM）(31)

3.3.1.4共性加工层（ADM）(32)

3.3.1.5数据集市层（MDM）(32)

3.3.1.6各层次数据特点对比(33)

3.3.2数据模型设计(35)

3.3.2.1基础整合层(35)

3.3.2.2共性加工层(35)

3.3.2.2.1共性层模型设计思路(35)

3.3.2.2.2共性加工层模型建设方法(37)

3.3.2.2.2.1存储什么数据：存储具有一定程度汇总的指标(37)

3.3.2.2.2.2数据如何获取：指标分类和指标ID(38)

3.3.2.2.2.3数据如何存储：星型模型(38)

3.3.2.2.2.4如何适应多应用系统共性数据存储的需求：与业务需

求轻耦合(39)

3.3.2.2.2.5如何适应指标频繁变化的要求：具有高度的扩展性(40)

3.3.2.2.3共性加工层当前目标(42)

3.3.2.2.4共性加工层远景目标(43)

3.3.2.2.4.1完善贵公司数据平台及之上的应用系统数据架构(43)

3.3.2.2.4.2扩展共性加工层指标数据(44)

3.3.2.2.4.3关于共性加工层主题划分(44)

3.3.2.3集市数据层(44)

3.3.3灵活查询功能架构(45)

3.3.4数据备份与恢复(46)

3.3.4.1数据备份与恢复实施思路(46)

3.3.4.2数据备份机制(47)

3.3.4.3数据恢复机制(47)

3.3.4.4