分布式异构数据迁移系统的设计与实现汇编.docx

分布式异构数据迁移系统的设计与实现摘 要： 介绍分布式异构数据库的相关概念和特点，基于 B/S 模式设计分布式异构数据库迁移系统，将 JDBC SQL 数据类型作为各种异构数据库数据类型的中间模型，实现整体和部分迁移。说明了数据转换规则、数据迁移实现方法、转义处理、大型数据字段处理、迁移过程、断点续传。项目实例表明该系统具有较好的可行性和实用价值。关键词： 分布式异构数据库；数据库管理系统；数据转换；转义处理；迁移过程引言随着计算机技术的高速发展和跨国企业规模的不断扩张，企业全面信息化已成为必然趋势。长期以来由于企业需求与历史发展的原因，形成了多个不同部门相互独立的数据库异构管理信息系统的现状[1]。同时，在信息化建设过程中，随着数据技术和商业需求的发展，原有的信息系统不断被功能更强大的新系统所取代。从两层结构到三层结构，从客户端/N务器(C/S)到浏览器/服务器(B/S)，在新旧系统的切换过程中，必然要面临一个异构数据迁移的问题。分布式异构数据库分布式异构数据库是数据库技术与网络技术相结合的产物，即多个数据库系统的集合，可以实现数据的共享和透明访问，每个数据库系统在加入分布式异构数据库系统之前已经存在，拥有自己的数据库管理系统 DBMS，具有物理分布性、场地自治性以及场地之间协作性[2]。分布式异构数据库的各个组成部分具有自治性，实现数据共享的同时，每个数据库系统仍保有自己的应用特性、完整性和安全性控制。异构性主要体现在：计算机体系结构的异构，基础操作系统的异构， DBMS 本身的异构。分布式异构数据库系统的目标在于实现不同数据库之间的数据信息资源、硬件设备资源和人力资源的合并和共享。分布式异构数据库系统具有分布数据库和异构数据库的双重特点，实现了数据分布性和逻辑整体性，优点主要有：灵活的体系结构，适应分布式的管理和控制机构，经济性能优越，可靠性高，可用性好，局部应用的响应速度快，可扩展性好，易于集成等。由于数据库系统的存储模式，类型定义等不尽相同，因此集成应用时就必须消除各数据库的异构模式，方便数据的统一管理。分布式异构数据库迁移系统的设计与实现系统基于 B/S 模式设计，采用 Java 与数据库接口规范(Java Database Connectivity, JDBC)。 JDBC API 定义了若干Java 中的类，表示数据库连接、 SQL 指令、结果集、数据库元数据等。它允许 Java 程序员发送SQL 指令并处理结果，通过驱动程序管理器， JDBC API 可利用不同的驱动程序连接不同的数据库系统。3.1 系统总体结构分布式异构数据库迁移是自下而上的数据集成方法，采用异步分工合作的 4 层协议，如图 1 所示。图1.系统结构第 1 层有底层独立自治的数据库的访问对象 Queryobject 和各关系型数据库。 Query object 载有各个数据库商家开发的针对各自数据库的 JDBC 驱动，实现数据库的连接和数据访问。各 DBMS 运行于各自的数据库应用系统中，是产生异构数据库的原因；第 2 层消除异构模式，是异构数据库得以实现的基础，包括：消除命名冲突，格式冲突，结构冲突，数据冲突，保留关键字冲突，大字段冲突等，有转义处理、大型数据字段处理和出错处理功能模块；第 3 层是数据库转换规则和断点续传，定制了各个数据库之间数据类型的映射关系，是异构数据库得以运行的依赖；第 4 层是异构数据库的功能层，主要实现创建表、整体迁移和部分迁移，在第 2层和第 3 层的支持下实现数据的共享和透明访问。另外， Table Object 负责读取、组织数据字典信息，系统将数据字典纪录组织在 XML 文件里， Object Server 通过Table Object 的界面读取连接数据库所需的信息， 组织信息成为动态数据字典。 Query Object 的工作就是利用JDBC Driver连接数据库、查询数据库，将查询结果返回给 Object Server。3.2 数据转换规则数据类型转换规则是数据迁移的首要问题。每个 DBMS都定义了一套自身的数据类型，随着数据库系统的发展和版本的升级，数据类型的种类也不断增多，但不论数据类型如何变化，其功能都是满足用户的数据处理基本要求，这些具有共性的方面，给系统间的数据转换带来了可能和方便。不同数据库的数据类型存在差异，其自身定义和扩充之间的区别，给系统间的数据转换带来困难。例如， DBMS 返回的日期和时间数据格式在各个 DBMS 中有很大的不同，有些系统以 8 字节整数格式返回日期和时间，另外一些以浮点数格式返回。所以，异构数据库数据类型转换的关键是找出其中的对应关系。数据类型转换有 2 种方法： (1)定制类型映射表，设计多个相应的双向数据转换程序，解决不同的数据类型匹配问题；(2)建立