数据集成的应用和案例调研.docx

数据集成的应用和案例调研一、数据集成要解决的问题从分布、异构和自治的数据源中集成数据，同时保留数据在现存的不同系统上的完整性和一致性对用户（对统一数据的需求方）隐藏数据的差异性，为其提供统一的数据接口，用于查询、获取和分析对信息化发展过程中积累的凌乱、重复、歧义的数据进行“再集中、再统一”二、数据集成的几种架构单系统数据集成架构：是国内目前主要采用的架构，主要是以数据仓库系统为代表提供服务而兴建的数据集成平台，面向企业内部如ERP、财务、OA等多个业务操作系统，集成企业基础明细数据，转换成统一标准，按星型结构存储，面向市场经营分析、客户行为分析等多个特有主题进行商务智能应用。企业统一数据集成架构：组织结构较复杂的大型企业、政府机构比较偏爱，因为此类单位具有业务结构相对独立、数据权力尤为敏感、数据接口复杂等特征，需要多个部门协商来建立一个统一的数据中心平台，来解决部门之间频繁的数据交换的需求。业务独立、层级管理的组织结构决定了内部数据交互的复杂性。机构之间的数据集成架构：跨企业、跨机构、多个单位围绕某项或几项业务进行的业务活动，或由一个第三方机构来进行协调这些企业、机构之间的数据交换、制定统一数据标准，从而形成一个多机构之间的数据集成平台。典型的有中国银联与各商业银行之间的应用案例、市政府信息中心与市政府各机关单位之间的应用案例、外贸EDI（海关、检验检疫局、外汇局、银行、保险、运输等）。三、数据集成的核心应用国内企业常见的数据集成应用有数据仓库、数据同步、数据交换，随着企业并购、新旧系统升级、分布系统向数据大集中看齐、电子商务的发展、多个企业单位协同作业等等众多业务需求的诞生，数据集成的应用开始繁荣起来。 目前大部分数据集成软件厂商都是围绕数据仓库（Data Warehousing）、数据迁移（Data Migration）、数据合并（Data Consolidation）、数据同步（Data Synchronization）、数据交换（Data Hubs或者叫主数据管理:Master Data Management）这5种常见的企业应用形式来发展各自的产品技术。数据仓库：集成企业基础数据，面向特定主题数据迁移：新旧系统升级、数据大集中数据同步：交通、证券交易、实时汇率数据合并：企业并购、HR系统的合并、财务系统的合并、其它业务系统的合并，当系统需要合并必然产生数据的合并数据交换（主数据管理）：一般构成企业主要的基础数据分别是客户数据、产品数据、员工信息数据、供应商数据，要从企业多个系统中快速、可靠地建立唯一、完整的企业主数据视图。是目前最复杂的数据集成应用四、现有解决方案和案例（以Informatica解决方案为例）数据集成解决方案的核心是“抽取、转换和装载，即Extraction Transformation Load, ETL 过程”，ETL过程的优劣或者是否适合于企业的数据和业务也是解决问题的主要参考标准。案例一：中国电信江苏省分公司基本情况13个地市级分公司+6家直属单位+3个子公司+56个县级电信局集成需求江苏电信 的数据仓库共有 64 节点，源自 28 个源生产系统，因此系统独立、数据分散、缺乏一致性、制约决策分析的应用支持，计划建立企业数据架构（EDA，Enterprise Data Architects），融合后端90%以上数据。解决方案、措施和结果数据仓库为数据处理核心，数据分布和流转过程首先从各个联机事务处理环境、业务和应用源系统中提取出数据，由Informatica PowerCenter 进行清理以提升数据质量，然后经过抽取、转换和装载，即 ETL 过程，导入到 ODS 仓库中，从而得到企业数据的一个全局视图，之后根据不同需求下发到各个不同的数据集市中，性能上能够每月 6 日完成月报数据提供，每日 8 点半之前完成日报数据提供。案例二：中国人寿财产保险股份有限公司基本情况已建、在建的系统模块有 BAS（业务分析系统）、FAS（财务分析系统）、KPI 绩效指标分析、人力分析，再保分析、客户分析、内控审计管理平台等。集成需求系统间缺乏统一接口，主数据混乱，缺乏数据增量规则，新的数据与源系统沟通成本较高解决方案、措施和结果原系统只有业务数据，现在需要加入人力、财务数据，因此通过 Informatica PowerCenter，国寿财险的数据分析平台实现了与 SAP 系统的对接，并兼容公司多年来陆续建立的 Oracle、SAP、SQL Server 等数据库中数据图1 案例中国人寿 附图案例三：中国南方电网基本情况系统间缺乏统一接口，主数据混乱，缺乏数据增量规则，新的数据与源系统沟通成本较高集成需求在数据资源管理组织及认责体系不完善、数据资源管理的流程不完整、数据资源管理的技术支撑不足以及数据标准及数据规划落