国内股份制商业银行数据架构建设建议.doc

数据架构建设研究报告 PAGE PAGE i 国内股份制商业银行 数据架构建设研究报告  目录 TOC \o 1-6 \h \z 1 建设目标和意义 3 1.1 概述 3 1.2 建设目标 3 1.3 建设意义 4 2 数据构架整体规划 4 2.1 当前数据架构所面临的问题与挑战 4 2.2 架构建设原则 5 2.3 数据架构整体规划 6 2.4 整体解决方案 8 2.5 数据处理和存储架构 8 2.5.1 接口文件区 8 2.5.2 数据仓库 8 2.5.2.1 细节数据暂存区SSA（SOR Staging Area） 8 2.5.2.2 细节数据SOR（System Of Record） 9 2.5.2.3 汇总数据区Summary 9 2.5.2.4 反馈数据区（Feedback Area） 9 2.5.2.5 元数据存储MDR（Meta Data Repository） 9 2.5.3 数据集市和多维立方体 9 2.6 数据治理平台规划 11 2.7 数据标准平台规划 11 2.8 数据质量管理平台规划 12 2.9 元数据管理平台规划 14 2.10 业务与科技能力要求 15 2.10.1 安全与必威体育官网网址 15 Page PAGE 3 of NUMPAGES 15 建设目标和意义 概述 国内股份制商业银行经历了近些年的高速扩张和发展， 无论在客户群体和业务量上都有了庞大的增长，这推动了银行信息化建设的力度。各商业银行均投入大量的人才财力物力举全行之力大力推进银行的信息化建设，这使得银行构建了大量的业务系统，包括：核心系统、个贷系统、对公贷款系统、 国际结算系统、网上银行、前置系统等等，这些系统内积累了大量的业务数据，而这些业务数据相对独立，信息共享困难，无法从整个企业和单一视图的角度对数据进行深入分析和挖掘，无法为高层管理和决策提供强有力的依据，无法满足快速变化的市场的需求。基于此，股份制商业银行纷纷开始构建数据仓库，以业务支撑应用系统的数据以及其他相关数据作为基础数据源，采用科学的数据抽取、整理、存储等方法，建立企业级数据仓库；然后通过丰富的数据分析和挖掘方法找出这些数据内部蕴藏的大量有用信息，对客户、业务、市场、收益、服务、等各方面情况进行科学的分析，从而为市场决策管理者和市场经营工作提供及时、准确、科学的辅助决策依据。 数据架构设计作为数据仓库技术中的一项根本性基础工作，是对系统逻辑体系结构和建模方式的描述，直接决定了数据仓库系统的可管理性和可扩展性，在数据仓库系统的建设过程中具有极其重要的作用。 建设目标 数据架构顾名思义是数据的架构，是研究数据质量、标准的，是确定数据如何存放、流转、分发的。数据架构要支撑上层业务分析应用。在数据仓库的建设过程中，数据架构的建设目标包括： 业务层面 构建适合股份制银行统一模型，建立业务/客户/产品统一视图 实现跨部门、跨系统分析，支持现有的各类应用 支持业务报表、经济资本管理等业务应用 为各分支机构提供数据支持 系统层面 建立统一的、共享的基础数据平台 保证数据的一致性、可用性和扩充性，提升数据质量 集成核心、信贷、国业、前置等重要系统的数据 技术层面 建立具有先进性、灵活性和可扩展性的企业级数据仓库的总体架构 建立一套完善的ETL体系完成数据抽取、清洗、加载与转换 管理层面 实施平台管理、数据库管理等系统管理 借助于数据仓库项目建设和维护方法论，完善项目不同阶段的管理 建立数据标准，制定全行统一的数据标准 建立数据存储策略和生命周期及集成架构 建立数据质量管理，推动业务系统改善数据 建立数据安全机制，确保核心数据的安全性 建设意义 数据架构的建设意义如下： 使银行高层领导能够从全局角度出发，推动企业数据的统一规划，便于业务人员对企业数据的分析与理解。 可以形成企业的概念模型，帮助企业人员更好地理解业务的核心概念和业务之间的关系。 可以明确各个业务部门之间的关系和在分析应用工作中的主要职责，有利于实现统一的报表体系规范，便于实现企业的运营指标分析和统一的口径。 形成有效的数据管理体系，保证企业在业务部门众多，内部数据和外部数据复杂的情况下，数据只有唯一事实的特点。 可合理利用银行的软硬件资源，统一规划数据存储，避免资源浪费 可有效推动业务系统数据质量的提升，尽早发现存在的风险。 数据构架整体规划 当前数据架构所面临的问题与挑战 当前部分企业采用的数据架构： 当前所面临的挑战有： 重复数据太多。这些重复数据的作用都是相同的吗？重复的数据占用了更多的存储，