科技大数据平台数据仓库开发指南.docxVIP

1

T/GDMA4—2018

科技大数据平台数据仓库开发指南

1范围

本标准规定了科技大数据平台数据仓库开发过程中各环节应遵循的流程及标准。

本标准适用于广东省科技厅基于数据仓库的信息中心负责人及相应开发/运维厂商共同使用。

2规范性引用文件

下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅注日期的版本适用于本文件。凡是不注日期的引用文件，其必威体育精装版版本（包括所有的修改单）适用于本文件。

GB18030信息技术中文编码字符集

GB/T20273信息安全技术数据库管理系统安全技术要求GB/T12991.1信息技术数据库语言SQL第1部分:框架

3术语和定义及缩略语

GB18030、GB/T20273和GB/T12991.1确立的以及下列术语和定义适用于本文件。3.1

数据仓库datawarehouse

数据仓库是科技厅所有业务数据存储载体，是企业级的数据集合。3.2

ETLExtract-Transform-Load

ETL是指数据的抽取(Extract)，转换(Transform)和加载(Loading)，它是一个数据转移、重组的过程，是数据仓库系统实施的一个非常重要的环节。

3.3

ODS操作数据存储operationaldatastore

操作数据存储是数据仓库体系结构中的一个部分，ODS具备数据仓库的部分特征和OLTP系统的部分特征，它是“面向主题的、集成的、当前或接近当前的、不断变化的”数据。

3.4

ODBC开放数据库互连opendatabaseconnectivity

开放数据库连接是为解决异构数据库间的数据共享而产生的,是基于Windows环境的一种数据库访问接口标准，ODBC为异构数据库访问提供统一接口，允许应用程序以SQL为数据存取标准，存取不同

2

T/GDMA4—2018

DBMS管理的数据；使应用程序直接操纵DB中的数据，免除随DB的改变而改变，使用ODBC可以访问各类计算机上的数据库文件。

3.5缩略语

下列缩略与适用与本标准：

CWM数据仓库元模型CommonWarehouseMetamodel

ETL数据提取、转换和加载Extraction-Transformation-LoadingSQL结构化查询语言StructuredQueryLanguage

XML可扩展置标语言ExtensibleMarkupLanguage

4数据仓库架构

4.1数据仓库架构图

数据仓库中的指标数据就可以为各种分析应用提供深加工的数据资源。中间数据库和数据仓库将有相应的管理子系统进行管理，见图1数据仓库架构图。

图1数据仓库架构图

4.2数据仓库层次

4.2.1源数据层

以统一规范的方式存储数据。

4.2.2中间层

解析应用层的业务逻辑，使应用层和原始数据相互独立，提高应用层系统（程序）的可扩展性、可移植性。

3

T/GDMA4—2018

4.2.3应用层

面向最终用户，提供友好、简洁、方便的用户界面，具有良好的业务无关性。

4.3数据仓库实施流程

数据仓库实施，按照三大阶段拆分如下具体前后执行的操作步骤,见表1。表1数据仓库实施阶段

数据仓库设计

数据仓库开发

数据仓库运维

逻辑模型设计

物理模型设计

数据仓库需求变更处理

数据映射设计

ETL详细设计

数据仓库异常处理

ETL概要设计

代码编写

代码测试

代码迁移

5数据仓库建设阶段划分

5.1设计阶段

5.1.1数据库模型设计

5.1.1.1数据仓库建模流程图

数据仓库数据模型设计，包含概念模型，逻辑模型和物理模型设计，见图2。

图2数据仓库建模流程图

5.1.1.2概念模型

4

T/GDMA4—2018

数据仓库架构组的模型设计师通过业务流程及业务流转，将数据主题下的数据对象（实体）相互关系描述清晰，形成数据概念模型实体-关系图，输出《概念数据模型》。通过这种模型来数据化描述科技厅具体业务运营和管理过程中涉及的主要业务概念和相关规则。

5.1.1.3逻辑模型

在概念数据模型的基础上，针对业务实体和属性定义进行细化，形成逻辑数据模型，具体参考业务系统中数据具备的属性，同时需要保证逻辑模型能支撑上层分析需求。

5.1.1.4物理模型

在对数据仓库进行物理模型设计时，需要遵循以下标准：

a)设计存储结构：对于经常查询的一些数据，可放在一张表中，避免表间关联，消耗服务器性能；

b)设计索引策略：数据仓库的数据量很大且很少更新，因而可以设计索引结构来提高数据存取效率，一般都是按主关键字和大多数外部关键字建立索引