《数据导入模块设计.docVIP

深圳市汉云科技 SCSDB-RDBMS数据导入模块概要设计 模块名称: SCSDB-RDBMS数据导入模块 版 本: V0.1 完成日期: 2013-02-19 作 者: 熊志强 审 核: 批 准: 文件状态: ■草稿 □正式发布 □正在修改 版 本 历 史 版本/状态 责任人 起止日期 备注 V0.1/草稿 熊志强 2013-02-19 至 2013-02-21 1、完成接口定义。具体的开发设计由合作者补充完成。 目录 1. 前言 1 1.1. 项目简要说明 1 1.2. 文档说明 1 1.3. 术语 1 2. 设计目标 1 2.1. 关键功能 1 2.2. 关键质量属性 1 2.3. 约束条件 2 3. 逻辑架构设计 3 4. 开发架构设计 3 4.1. 关键目录、文件组织 3 4.2. 程序单元组织 3 4.3. 数据结构设计 4 4.4. 接口定义 5 4.5. 关键处理逻辑流程 6 5. 物理架构设计 7 前言 项目简要说明 数据导入模块是SCSDB-RDBMS整个系统的一个子系统模块。 文档说明 本文档是数据导入模块的设计文档，包括接口定义、开发架构设计、逻辑架构设计等方面内容。 文档当前主要描述了接口定义及一些重要的逻辑处理内容。具体的其他设计内容由合作者补充完成。 术语 源数据库：导出数据的数据库 目标（目的）数据库：被导入数据的数据库 设计目标 关键功能 功能 描述 备注 数据库、表结构导入 能够将源数据库、表的结构信息导入目标数据库中。主键、索引信息需要保留下来 由于SCSDB与mysql的无缝兼容，所以将mysql的数据库、表结构信息导入SCSDB是非常容易的，可以先期开发。而oracle、sql server与SCSDB的差异较大，可以后期再开发 表数据导入 能够将源数据库、表中的数据导入到SCSDB 支持多种商用源数据库 能够支持将mysql、oracle、sql server的数据导入到SCSDB 模块需要全面支持将mysql、oracle、sql server的数据导入SCSDB 图表 1 关键功能列表 关键质量属性 质量属性 描述 备注 高可靠性 这里的高可靠性是指数据不丢失、数据不被修改，导入后的数据与源数据完全相同；表属性能正确保留，如索引、主键属性要保留；其他SCSDB不支持的属性可删除，如外键 高可靠性是数据导入模块的一个非常重要指标。导入完成后，从目标数据库中查询到的数据与从源数据库查询到的数据完全相同，数据不丢失、不截留（只保留了小数点前几位）。 SCSDB支持的数据类型、属性可能与其他商业数据库有些不同，如SCSDB不支持外键，在处理类型、属性时请积极与SCSDB开发者沟通，确定开发方案 高稳定性 在长时间导入大数据时能够稳定运行 高性能 在导入大数据表（kw级别以上）时，能有较好的性能表现 通过多线程并行导入等各种手段提高数据导入的性能 多线程安全 调用者在多线程方式下调用本模块应是线程安全的 可维护性 有良好的可维护性，方便其他人员维护本模块 详细的设计文档；良好的编码规范；详细的注释 可扩展性 模块要划分清晰；各子模块、接口间要弱耦合 图表 2 质量属性列表 约束条件 约束条件 描述 备注 系统支持 能够支持Windows（XP/VISTA/VIN7）、linux（centos5.5/centos6.2）系统 Windows系统输出sip.dll和sip.lib文件，linux系统输出libsip.so和libsip.a文件 服务不中断 在数据导入过程中，不能中断源数据库服务器的服务 采用各种手段，尽量保证服务不中断或只中断部分服务。如从mysql导入数据，可以进行lock table操作，暂停增删改服务，但不影响查询服务 图表 3 约束条件列表 逻辑架构设计 图表 4 数据导入模块逻辑架构 封装接口API层：负责封装本模块的接口，供上层调用者使用。 数据导入逻辑控制层：按照一定的逻辑，调用下层的查询源数据库、数据分析、导入目标数据库子模块，来实现数据导入功能。 查询源数据库：通过向源数据库发送查询命令，从而获取源数据库的表结构信息或表数据。 数据分析：对从源数据库中查询到的数据进行分析，以转换成适合导入到目标数据库的数据。 导入目标数据：将转换后的目标数据导入目标数据库。 数据库访问接口层：相应数据库厂商提供的访问下层数据库的接口API。 开发架构设计 关键目录、文件组织 目录、文件名 目的 sip.h 数据导入模块封装的对外接口API的定义 sip_types.h 数据导入模块重要的、公共对外的数据类型定义 sip_error.h 数据导入模块的错误码、错误消息定义