数据整合方案.pdfVIP

数据整合方案

WORD格式

1.信息资源标准化

数据标准化主要实现了数据格式、

化、面向主题集成、数据聚合等功能。

通过数据交换、采集，形成的基础业务数据，通过数据整

合进一步的数据

ETL（数据抽取、转换、加载），按照定制的标准信息规

范进行匹配映射（Match）、

数据格式转换（Transform），并对重复数据进行数据清

洗（Cleanse）、过滤（Filtrate）、聚合（Aggregate

采用数据同步工具和

最后多维加载（Load）后形成标准化数据。

ETL工具完成数据抽取、同步等整合工作，并通过任

内容和语义的映射、转换，实现编码一致务调度管理实现

对整合工具的集中管理和执行。

数据采集时可以按信息资源平台的要求将数据标准化。

有按信息资源平台转换为标准数据的数据。

准的数据如字典的统一。

在采集抽取数据时没

需要按信息资源平台的要求转换成标2.数据加工管理

2.1.数据抽取

数据抽取是利用抽取工具，建立抽取模型，将多个数据源

数据汇总到一个数据库的过程。

2.2.数据清洗

由于数据来自多个业务系统，而且包含历史数据，需要按

照一定的规划把数

据进行洗濯，整个数据洗濯的工具应包孕不完整的数据、

据等三大类。

错误的数据、重复的数

专业资料整理

WORD花式

2.3.数据转换

数据转换主要实现数据标准化的过程。

系统，有些数据源没有按照统一的标准规范设计。

信息资源平台的数据，来自多个业务

因此会造成数据难以与其他数

据同享。数据转换应实现依照统一的数据标准和既定的花

式转换规则，对数据的整理和花式统一。

2.4.数据装载

数据装载操作效率是数据资源平台需要考虑的重要环节。

针对本工程的不同数据资源所应采用的数据装载策略。

投标人应具体描绘2.5.数据标识

数据标识主要为了突出数据的关键性信息。

进而获取符合用户业务办理相关的结果。

便于实时的统计和更有效的比对，3.数据整合处理系统

3.1.数据处理流程

数据中心的构建，基础和核心的工作是需要对来自各方的

数据进行充分的整合和处理，对获取的各类源数据，需要进行

大量的数据梳理、分析，并作相关的

换成标准化数据后，再进行入库，从而保证进入数据中心

的数据质量，不产生垃圾数据，从而为数据中心的全局应用奠

定基础。

数据处理的流程如下图所示：

专业资料整理

WORD花式

基础数据

企业基础数据答应托息

数据中心

业务数据

日常监管信息企业信用信息

从业人员基础

市政府网办

数据源省局数据中心

省局

系统数据

产品基础数据

数据

行政执法信息

抽样检验信

息

其他

信息

企业关键码标准化处理企业基础信息整合处理企业许可数

据整合处理企业监管数据整合处理

其他政府部门数据整合处理

其他

电子统计报表数据导入处理汗青数据整合处理

数据整合处理

数据缓冲库

共享交换管理和对接实施

业务

数据

其他

统计

基

础数据

数

据

市局内部电子数据

其他

数据

工商部门

农业部门

其他政府部门

市当局网办

数据的处理流程主要如下：

专业资料整理

WORD格式

1、获取源数据

通过数据同享交换对接和施行，获取各单位的原始数据，

并暂存在数据缓冲库中，这部分的数据结构和原始数据的数据

结构不异。

专业资料整理

WORD花式

2、数据整合处理

对缓冲库中存储的数据，基于数据标准，对原始的数据进

行整合处理。

企业枢纽码标准