银行历史数据管理方案.pptx

甘肃银行历史数据及应用管理 方案介绍 甘肃银行 2016年7月 目录 1 我行历史数据应用与管理方案与架构 2 3 历史数据平台与ODS功能定位 历史数据应用与管理面临的问题与挑战 3 银行对历史数据管理的需求 业务需求 直观地有哪些信誉好的足球投注网站企业95%的信息 经营报表 历史查询 客户历史账单查询 Fast, easy search Align business, legal and IT needs IT需求 数据查询 数据备份 数据归档 数据仓库系统 数据 法规需求 把更多的电子发现工作留在企业内部 审计 合规检查 监管报送 实行保留策略和法律存(Legal Hold) 出于法规相关或特权查阅信息 满足银行各部门对信息风险监管的高弹性、健壮性、高性能需求？ 合规审查 保留审计 各部门对数据的问题与挑战 提高响应时间或者确保良好的响应时间 5 IT部门对历史数据面临的与挑战 5 趋势 挑战 信息数据的海量增长 IT 预算的紧缩 数据存储的需求大于IT预算 不断增长的数据使用需求 数据应用频繁 信息无处不在 内部数据丢失问题日益严重 数据要求严格、 数据存储时间长 严格的数据管理 安全的数据完整性和可用性。 信息的审计和法规遵从 信息难以审计 信息统一法规遵从的挑战 目录 我行历史数据应用与管理方案与架构 3 历史数据平台与ODS功能定位 历史数据应用与管理面临的问题与挑战 2 1 分析系统业务系统区别 历史数据平台ODS功能定位 历史数据平台系统 ODS系统 系统定位 1 用于交易明细查询,非结构化数据存储查询 等 2 分流交易系统明细数据查询压力 1 业务指标,报表展现． 2 数据交换 面向用户 1 柜面（柜员） 2 客服中心(客服) 3 网上银行(客户) 4 手机银行等渠道(客户) １ 业务管理层(报表平台) ２ 企业管理层(高管驾驶仓) ３ 下游数据消费系统(数据交换平台) 响应能力 1 高并发,高可用 1 批量,独占资源 保存期限 长期存在,3年以上 1 接口文件保存13个月 2 加工汇总后数据长期保存 优点 1 保留数据的原样性 2 满足了数据的管理要求 1 突出数据的统一性2 满足了数据的应用要求 OLTPODS数据结构对比 OLTPOLAP系统对比 比较项目 OLTP(联机事务处理) OLAP(联机分析处理) ODS DW 建设目的 业务操作，事务处理 事务处理，短时分析 决策支持，分析功能 服务对象 生产层 业务管理层 企业管理层 存储周期 即时 短期 长期 处理频率 实时 准实时(T+1) 非实时 数据容量 小 小 非常大 功能结构 分散 相对集中 集中 数据类型 明细数据 明细数据 明细数据,汇总数据 面向用户 操作人员,低层管理人员 业务管理人员 决策人员,高级管理人员 访问方式 实时访问（增，删，改，查） 准实时（增，删，改，查） 非实时（主要是读操作） 数据处理量 100MB-GB 100GB-TB 100GB-TB 数据 简单的事务（处理的数据量小） 复杂的查询（数据量大） 复杂的查询（数据量大） 11 归档 备份 生产系统 （OLTP） OLTPOLAP数据处理流程 引出的问题 Q1 :数据仓库是否能够替代归档系统．既突出数据的统一性，又保持数据的原样性 Q2:数据备份是否能满足历史数据的可用性，能否使用自动化归档系统加以改善 Q3:数据仓库和归档系统两者虽然都是针对数据进行操作的．但只能分别进行部署．数据冗余大．资源浪费严重。 DW与归档系统相结合的综合方案 思考： 如果能够将数据的应用与管理进行综合规划．那就既满足了数据的应用要求．又满足了数据的管理要求．对二者进行有机结合,是符合商业银行长远发展要求的。 解决思路： 1综合仓库和归档系统的优势 2 解决仓库单纯横向规划系统而不能将海量数据作为归档数据使用的不足． 3解决归档系统单纯以数据的生命周期存储为目的不能及时为商业分析提供综合数据的不足。 优势： 1分流数据,减轻生产系统的压力 2减轻数据仓库大量查询的压力 目录 1 我行历史数据应用与管理方案与架构 2 历史数据平台与ODS功能定位 历史数据应用与管理面临的问题与挑战 1 3 数据归档系统架构图 1 报表数据迁移只移植重要业务报表(如四表等) 2 老报表平台作为备份库查询,新报表平台门户做统一入口 数据仓库基本架构 ＥＴＬ 数据应用 数据管理系统总体架构 谢谢！