G并行批量处理技术在工商银行的应用.pdfVIP

2002年增刊 IBM用户大会论文集 并行批量处理技术在工商银行的应用 李兴双于芳(中国工商银行软件开发中心) l引言 务处理系统，它改变了传统批量处理系统的串行处理模 式，规划了数据中心多批量单位并发处理的全新运作模 随着中国工商银行数据集中工程(9991工程)的全 面启动，中国工商银行计划全行的数据在2002年10月式。建设了高流量高吞吐率的数据处理通道。并行批量 底集中到南、北两大数据中心。传统的以整个主机为数 处理技术是与SYSPLEX耦合技术完美结合的典范软件 据单位的串行批处理模式已经无法满足亿万级的数据 产品。 处理的要求。数据中心的安全生产和批处理的效率问题 成为数据集中工程的最严重的障碍，迫切要求开发一套 2综合业务并行批量处理系统运行的系统环 适应海量数据存取的批处理系统。 境 在此形势下，中国工商银行软件开发中心经过充分 操作系统： 的技术论证与模拟试验，将一套具有创新思维的并行技 术运用到综合业务处理系统(英文缩写CB2000)的开发 DB2 中来。这项技术的应用，充分发挥了0S／390并行耦合系 开发工具：IBMCOBOL、VG、PM等 统的优势．最大限度了利用了耦合系统提供的充足资 and 作业排程：IBMOPC(Tiv0Ii0p∞如m，n日m‘llg 源。综合业务并行批量处理处理系统(CompmhemimC瞳血D1) BusinessBatch s咖简称口Bs)是一个多功能的综合帐2．1系统结构图 综合业务并行批量处理系统在lT,／390并行耦合系算平台。它将多台OS／390主机系统有机的耦合起来．形 统上运行。它是一种高可靠的、高运算性能的企业级计 成一个具有高扩展性、互为备份、均衡负载的体系结构a 一85— ．型旦皇查叁丝銮苎兰丝耋垄型 其技术先进成熟，数据处理能力强，满足了并行处理充足 自动启用按照时间COMMIT的机制，以此缓解系统压力， 的资源需求，为应用系统的稳定、高效地运行奠定了基 最大限度的避免冲突。 础。 3．2优化程序效率 2．2数据库环境 综合业务并行批量处理系统在设计过程中除了通过 综台业务并行批量处理系统的数据库环境是DB2 程序并发的方式来缩短批量的运行时间外，还通过多种 DATASHABING环境，耦合体的08／390系统上运行若干 方法优化程序的效率。通过使用PM等工具分析每个 个DB2子系统，这若干个DB2系统构成一个DB2SQL语句的开销，合理利用DB2的索引技术，并根据具体 DATASHARINGGROUP，它们共享同一个应用数据库，通 过CF(CouplingFacility)在各个DB2子系统之间实现nA．术，减少系统开销并且能够防止脏数据的使用。个别程 TA SHARING，为并行处理提供了高可用的负载均衡环 境。满足了并行处理对DB2多进程访问的资源需求。 局限性，使应用程序动态选择最佳存取路径，使用LIMIT- ED 综合业务并行批量处理系统的数据存取主要采用 PARTITION DB2的PARTITION技术。综合业务并行批量处理系统的