IStreamDDS软件技术详解.doc

Istream DDS软件技术详解 [详细讲解Isteam DDS 软件的实现原理与技术细节解析] 九桥软件 2010/8/3 目录 前言 3 一．DDS的应用领域 3 1.1 生产系统的热容灾 3 1.2 分担业务 5 1.3 数据分发与集中 6 1.4 数据迁移 8 1.5 双向同步 8 二． DDS支持的同步特性 9 2.1 支持的同步对象 9 2.2 支持的同步模式 10 2.3 数据同步方式 12 2.4 数据定位方式 12 2.5 分区表特殊处理 13 三． DDS的同步原理 13 3.1 历史数据同步原理 14 3.2 增量数据同步原理 15 四． DDS同步的性能 16 4.1 读取在线日志 17 4.2 内存中完成交易解析 17 4.3 只合成已经提交的交易 17 4.4 实时压缩传输 17 4.5 通过rowid寻址 17 4.6 合成交易文件大小 18 4.7 首次同步的性能 18 4.8 增量同步的性能 18 五． DDS的目标端数据库可复用 18 5.1 目标端数据库始终处于打开状态 19 5.2 交易数据准确 19 5.3 新产生的数据对于同步无影响 19 六． DDS的高可用性 19 6.1 采用缓存机制 19 6.2 跟踪日志 20 七． DDS的特性 20 7.1 在线部署简单、占用资源少 20 7.2 异构跨平台的支持 21 7.3 一对多和多对一 21 7.4 对部分表重新进行单独全同步 21 7.5 定时同步 21 7.6 实时显示交易的统计 22 7.7 字符操作和web操作模式 22 7.8 数据验证 22 7.9 支持oracle自带数据导入工具 23 八．DDS的健壮性 23 8.1 网络中断 23 8.2 源端数据库重新启动 23 8.3 源端DDS重新启动 23 8.4 目标端DDS重新启动 23 8.5 目标数据库重新启动 24 九． DDS的软件体系架构 24 9.1 源端体系架构 24 9.2 目标端体系架构 25 附录、DDS支持内容汇总 26 前言 IStream DDS（以下简称DDS），是基于交易的逻辑级oracle数据同步软件。利用数据库日志在线跟踪、分析技术，将生产数据库的交易信息以事务为单位，通过异步的方式，实时的传递、装载到目标数据库中，以达到源端、目标端数据保持一致的目的。是一种准实时同步软件。 DDS 不依赖硬件的同步能力，支持多种系统平台，具有部署简单、同步速度快、交易延迟时间短的特点。 DDS能够支持跨多种Unix/Linux/windows操作系统平台、不同Oracle版本之间的交易同步。 DDS同步的目标数据库为在线打开状态，可以随时复用。 DDS 适用于（异构）热容灾、数据迁移、数据集中、数据分发、分担业务等应用领域。 一．DDS的应用领域 1.1 生产系统的热容灾 对于大部分公司而言，容灾是一项巨大的工程，意味着高额的资金和人力。受到传统同步技术的限制，容灾必须拥有专用的硬件支持专用的传输链路容灾距离系统平台诸多的限制。此外由于传统容灾系统的不，不但风险不能评估，而且巨大的投入也得不到回报。 DDS使用逻辑数据容灾技术，传递的是交易信息，因此传输数据量很小，保证了在低带宽环境下实现低延迟的Oracle异步同步，是一种高效且低成本的数据库容灾方式。DDS使用标准的IP协议进行通讯，容灾端的Oracle数据库可以部署在本地或远程容灾中心，距离没有限制。此外，由于同步的目标端数据库始终处于打开状态，因此，当生产数据库遇到计划内或非计划停机时，DDS能够支持前端应用程序快速的切换到容灾数据库。与其它基于磁盘或文件系统的物理同步技术相比，不但省略了漫长的数据库recovery和启动时间，而且能够保证100%的切换成功率。 当原生产系统数据库在恢复正常使用后，可以通过DDS将容灾端数据再次同步到源端数据库中，从而达到互为容灾的目的。 下图表示，原交易系统恢复正常后，容灾系统数据同步到原交易系统上的示例。 1.2 分担DDS基于交易的逻辑级同步技术保证了目标端数据库始终处于可用状态，因此对于DDS，查询、报表、备份、分析等都可以数据库处理。应用也不必在交易数据库上争夺处理资源和时间窗口。生产系统运行和维护的压力得以释放，提高了稳定性，而不同的应用在分布的数据库上也可以优化。查询、报表处理、数据备份、统计分析等 1.3 数据分发 DDS能够完成企业范围内数据分发，生产库交易数据实时同步到一个或多个本地或异地的数据库。数据分发是一种典型的通过部署多服务器、多数据库来分担负载，提高响应速度的企业应用模式。 DDS能够完成企业范围内数据，从交易数据生产库实时同步到一个本地或异地的数据库。 1.4 数据迁移 数据库软件、硬