基于分布式容错总线的开发指南.pdf

基于分布式容错总线架构的开发指南(草案) 目录目录 目录目录 1 背景 2 2 工作原理 4 2.1 纯粹模式(PURE_TIER) 4 2.2 半纯粹模式或称为接受模式 （RECV_TIER） 5 2.3 决定一个应用节点的要素 6 2.4 Arb 说明 6 2.5 系统启动和反演逻辑 7 3 解决方案的设计 （Arb.ini 说明和bus.xml 说明） 9 4 开发指引 11 4.1 组件列表 11 4.2 头文件使用说明 12 4.3 系统返回码 14 4.4 系统产生的文件 15 4.5 例子 test_lib 运行说明 15 4.6 例子 test_seq 运行说明 16 第 1 页 1 背景背景 背景背景 金仕达在长期开发交易系统，特别是交易所系统的过程中，逐步形成了一套 基于内存模式 （无论是内存数据库还是内存中的数据结构）的应用技术架构，以 达到基于数据库系统所无法达到的高性能指标，这些高性能指标最主要的是在高 吞吐量下的系统延迟指标，目前典型的要求是在每秒几万笔交易的情况下，客户 请求端延时在毫秒内，而且，随着金融交易所竞争加剧和计算机和网络新技术的 出现，这些要求在持续提高。为了应对这种局面，金仕达形成了容错总线体系， 以支持基于内存的高性能应用，弥补内存机制的可靠性弱点。该体系的主要思想 是通过两个以上的物理主机节点实现来解除单点物理故障，更进一步，通过容错 总线完成消息可靠按序的递交工作和故障应对工作，任何应用系统不必在自己的 业务实现中再考虑这些任务，从而做到业务逻辑与容错逻辑的分离。金仕达前面 几代容错总线采用实际的物理进程实现，各应用服务系统都是通过网络通信连接 到容错总线的节点。典型部署如下图所示： 交易核心 （主） 交易核心 （备） 数据库同步系统 容错总线 （主机） 容错总线 （备机） 管理前置机 管理前置机 管理前置机 管理前置机 其他 前置机群 行情前置机群 通过容错总线实现在交易核心、前置机、数据库同步系统之间的通信。任何 一台容错总线(无论主备)的单点故障都不会对以上通信带来故障；任何单点的交 易核心机器故障也不会 中断系统对外服务。此外，容错总线还提供反演机制，可 第 2 页 让交易核心在启动时收到之前应该发送给该核心的指令流，以建立其 时的内存 状态。 这个体系良好地支持了金仕达的交易所业务。但随着环境变化，也有些不利 情况体现出来，其 中最主要的是物理上独立存在的容错总线进程逐渐成为通信的 瓶颈，在接入的节点越来越多时，该症状日趋明显；在响应延迟方面，由于任何 两个节点之间的报文传输都要通过这两个独立的容错总线，使得响应延迟的优化 存在瓶颈。 分布式容错总线是对集 中式容错总线的发展，保留 了容错总线的报文有序可 达，基于持久化日志的反演，通过多节点避免单点故障等特性。同时，采用可靠 多播技术，取消了外部独立存在的容错总线进程，而是将这些职能内化到每个应 用系统的通信协议层次 中。换言之，在每个应用系统中建立容错通信协议机，将 传统上与外部容错总线的交互变为与内部容错总线基础架构的交互。如下图所 示: 在此体系中，任何两个应用之间的通信不再经由独立的进程中转，而是直接 发送到目标应用系统。