如何实现海量数据迁移及落地实践.pdf

如何实现海量数据迁移及落地实践 云和恩墨 陈鋆 5年数据库技术顾问经验，所服务的行业包括银行、医疗、互联网金融、政企、电信运营商、制造业 等；擅长数据库架构设计、容灾解决方案及数据库的日常管理、疑难故障诊断、性能优化、迁移升级改 造等。 数 / 据 / 驱 / 动 成 / 就 / 未 / 来 目录 01 02 03 迁移触发条件 迁移面对的挑战 数据调研 04 05 方案选择 案例分享 数 / 据 / 驱 / 动 成 / 就 / 未 / 来 01 迁移触发条件 数 / 据 / 驱 / 动 成 / 就 / 未 / 来 01 设备更换 当某些硬件设备在时间推移当中，出现性能或者容量不能正常承载数据库 运行的时候，就会引发数据库迁移。 当随着时间推移，数据库中数据越积越多，为保证系统在当前设备下更好 的运行，会将历史数据迁移到历史库中。 数 / 据 / 驱 / 动 成 / 就 / 未 / 来 02 同构迁移 同构数据库迁移是指在采用同一数据库技术的源数据库和目标数据库之间 进行迁移，例如： 1.出现数据库bug ，需要进行升级迁移 2.历史数据迁移 数 / 据 / 驱 / 动 成 / 就 / 未 / 来 03 异构迁移 面对海量数据处理、高并发交易的压力，互联网企业率先突破，以分布式、开源开 放技术搭建基础云平台，基于平台实现应用云化，从而在低成本、高性能、可扩展、快 速响应等方面拥有巨大优势，成为企业级IT架构的发展方向。 去O已经成为一种趋势，因此异构迁移会越来普遍。 数 / 据 / 驱 / 动 成 / 就 / 未 / 来 02 迁移面对的挑战 数 / 据 / 驱 / 动 成 / 就 / 未 / 来 01 迁移一致性 无论使用哪种方式进行迁移，在迁移完成后，源端数据库和目标端数据库对应的数据状 态应当保持一致，一致性主要分为： • 完整性 • 无重复性 • 有序性 数 / 据 / 驱 / 动 成 / 就 / 未 / 来 01 迁移一致性 完整性 在迁移完成后，无论是表，视图或其他需要迁移的对 指定要迁移的所有数据实际 象，都需要通过数据稽核来保证目标端数据的完整性。 上都已迁移。指定数据可以是某 个源数据库中的所有数据，也可 以是部分数据。 完全copy 源数据 目标数据 数 / 据 / 驱 / 动 成 / 就 / 未 / 来 01 迁移一致性 无重复性 每份数据都会迁移且仅迁移