王磊网易分布式数据库平台.ppt

网易分布式数据库平台 王磊@网易杭研院 wanglei@ 平台简介 网易分布式数据库平台（DDB）是一种面向结构化数据的通用存储解决方案，基于关系数据库集群解决结构化数据的海量存储和高效访问。 设计目标： 海量结构化数据存储（10TB以上） 高并发、低延迟 面向关系模型和OLTP 方便应用开发、通用性强 可动态扩展 数据安全可靠 方便维护性 低成本 功能特点 基于Sharding的Scale Out 支持常用的RDB功能：DDL、DML、全局ID分配等 事务支持：节点内、跨节点、跨DDB。 多平台和多语言环境下的通用SQL访问接口。 支持MySQL和Oracle混合使用。 支持读写分离和读操作负载均衡 支持用户管理和权限控制 支持在线扩容 命令行和图形化管理工具。 系统架构 Sharding实现 均衡字段：用来定位记录所在DBN的表字段。 均衡策略：均衡函数、桶、存储映射表。 表 -- 均衡策略：多对一 查询处理流程 查询处理实现原则 选择合适的DBN执行子查询 基于表到DBN的映射关系 基于均衡字段值到DBN的映射关系 排序操作尽量下推给DBN执行，可以充分利用索引 多表查询尽量不拆分子查询，充分利用DBN实现Join 消除子查询中的不必要条件，提高子查询的执行效率 尽量采用流（游标）的方式处理中间结果 查询处理Cache优化 DBI 中的Cache Meta Data Cache DBN Connection Pool DBN PreparedStatement Cache SQL Syntax Tree Cache 基于MySQL的缓存 SQL Cache hint 可持久化的Memory Table 分布式事务 遵循XA Transaction标准 两阶段提交+事务日志，保证ACID 悬挂事务处理 提高事务处理效率 “延迟”启动分支事务 并发执行分支事务 尽量避免两阶段提交，一阶段提交不写日志 尽量避免使用XA连接 读写分离 支持对Master和各Slave节点的读操作设置权重 限制从延迟过大的Slave上读取数据 通过hint指定select语句的读取位置和延迟限制 只在Master上执行（默认） 只在Slave上执行 优先在Slave上执行 根据权重选择节点执行 /*LOADBALANCE(TYPE=slaveonly,delay=60)*/ select … 管理工具 Schema和配置管理 DBN, table, policy, trigger, view, routine 用户管理 系统状态监控和报警管理 SQL执行统计分析 数据备份 系统扩容 计划任务 用户和权限管理 访问认证 用户名、口令认证和IP地址检查 DDB认证+DBN(RDBMS)认证 权限管理 区分普通用户和管理员用户 权限粒度控制到表的读、写和授权 用户访问配额控制 管理员权限细分：Schema配置、维护、监控统计、用户管理 管理员操作日志 状态监控 DBI状态监视 DBN连接池状态，占用连接的线程堆栈 资源使用情况：Connection/Statement/PS 内部操作统计：内部资源创建销毁、Cache命中率、事务操作等 DBN状态监控 心跳监视，故障时切换到Standby Node。 Session自动监视、统计和报警 Slow Log自动监视、统计和报警 复制延迟和异常自动监视报警 QueryServer状态监控 心跳和负载监控 SQL执行分析——Explain SQL isql@dbi explain select docid from FS_File order by id desc limit 10; +-------------------------------------------------------------------------------------+ | PLAN | +-------------------------------------------------------------------------------------+ | LIMIT/OFFSET | | /\ | | /||\