SpringBatch在实际应用中设计.docx

并发模块软件开发概要设计文档描述文档名称项目并发模块软件开发概要设计内容简介并发模块概要设计介绍文档变更引言背景为应对业务快速发展及全业务网上营销的需要，公司迫切需要整合目前的所有系统，进而推出以为主体的电子商务网站。在的实际应用中，常常需要对大批量的数据进行读取、验证、保存及交换等相关的一些操作。各系统自主开发相关的大数据处理模块，有可能会使系统出现如下问题：代码重复开发，实现代码差异过大，代码维护成本增大开发人员水平不一，代码质量无法得到保证，可能会产生效率问题，尤其数据量增大后，代码的执行效果无法得到保证因此，需要将大数据量的处理的问题作为项目中一个比较重要的模块独立考虑，并发模块应运而生。目的本文主要是针对中，可能出现的并发应用的场景进行描述，并对此场景进行需求分析提炼，对并发模块中涉及到的批处理、异步、并发等机制进行阐述，对数据处理涉及到的功能进行概要设计。术语缩略语序号术语/缩略语全称及说明123参考资料spring-batch-docs.pdfQuartz Job Scheduling Framework 中文版 V0.9.1.chmQuartz的官方网站：Spring batch的官方网站：/spring-batch/适用人群对spring体系结构有一定了解在springbatch\quartz方面有兴趣在批处理方面遇到不同需求需求描述业务需求经过对项目的调研，有许多涉及到大数据量处理的业务需求：在周末、月末、节日等自动发送大批量信息去提醒或进行业务节点操作生成交费通知书，生成银行转账，保单满期失效等各种批处理。一般这些批处理在晚上没有其它在线业务的时候运行，白天不能运行这些批处理，以免影响在线实时处理。晚上的时间毕竟有限，最低程度也要在整个晚上将这些批处理运行完毕，不能延续到第二天的营业开始时间。对并发模块的要求对大数据量进行批量处理单个任务的并行执行定制时间节点启动任务循环任务执行可以日志记录及进行重启模块概述功能概述并发模块主要处理系统中大数据量批量操作的所有问题。系统可以将所有大批量的周期操作都可以放到此模块中。此模块主要具备的三个方面的功能：定制时间的功能作为周期性的操作，肯定会涉及到时间的处理问题，此模块必须有相关的时间定制才能满足此需求批量数据处理的功能此为基本功能。由大数据量引出的其他功能如，数据启动时的触发，数据中间的处理，处理出错后的补救，数据处理中的事务等一系列的功能，对批量数据处理进行支持日志功能在数据操作的过程中，对每一个操作步骤及关键节点进行纪录是有益于监控操作过程的，即使操作失败，也方便对过程进行分析模块范围此模块仅限于处理大批量的周期性的数据，也可以支持非周期性批量数据一次性处理（由于开发成本较高，请慎重使用）。需求功能需求时间定制功能通过配置指定任务的执行时间，让任务达到定时启动的目的，或对大批量数据在凌晨定时执行批量处理的业务，缓解日间系统压力。批处理功能对大数据量进行批量处理的功能并行处理功能如果业务数据量多达百万千万时，可以通过多线程并行执行的方式，加大CPU及内存利用率，加快处理进度，保证业务完成的时间重启功能如果任务执行失败，可以对失败的任务进行重启，保证任务执行没有遗漏，或对任务执行可以进行手工干预，保证任务执行的准确度日志功能对任务执行的每一步都进行日志纪录，便于对系统或任务出现的问题进行分析、处理、回溯等。非功能需求易用性各系统在使用及配置此模块时，尽量少的进行二次开发，以此来降低实施风险，减少实施周期性能由于此模块使用嵌入式的开发，需要模块开发完成后，进行比较充分的测试以保证模块的正确及快速运行，满足系统的要求，并使之不成为系统瓶颈。可用性在并发模块完成部署后，可以对系统进行相关的测试，如果影响效率，还可以对此模块进行独立部署，提高模块的可用性可扩展性模块基于spring框架为基础，springbatch+quartz作为spring的插件进行整合，可以及时进行相关的替换及升级，在spring上的插件也非常多，可以保证此模块的扩展性机制描述异步机制机制描述发起任务请求者可以在发送消息后进行其它的工作，不用等待接收者的回应，而接收者也不必在接到请求后立即对发送者的请求进行处理。模块应用场景场景：调用者与并发模块之间解藕并发机制机制描述当数据量非常巨大时，需要系统提供多个线程来并行处理同一批数据，在处理过程中避免出现漏读，脏读，重读等出错情况，如果出现以上出错情况能够及时、有效、自动地去进行相关的处理或提示的一种机制。模块应用场景场景一：本机的并发处理场景二：分布式并发处理运行环境开发环境硬件环境：cpu主频2.0G以上，内存2G以上软件环境：操作系统：win7\winxp\linux开发语言：java6.0统一开发工具：eclipse3.6.2数据库：oracl