AS深圳2018-《NewSQL在转转的千亿规模应用实践》-孙玄.pdf

NewSQL在转转的千亿规模应用实践 演讲人 孙玄 关于我 转转公司首席架构师 转转公司架构算法部负责人 前58集团技术委员会主席 前58集团高级系统架构师 前百度高级工程师 毕业于浙江大学 代表公司多次对外分享 架构之美 （beautyArch ）公众号作者 关于我 分享要点 1 转转业务场景 2 NewSQL替代传统分库分表 3 分布式数据库TiDB应用实践经验 NewSQL 4 接入规划以及未来架构迭代 二手交易平台-转转 二手交易平台-转转 卖 买 业务场景 用户 消息 商品 交易 使用NewSQL代替传统分库分表 l 面临问题 üMySQL+MongoDB ü大数据量性能瓶颈 ü业务层Sharding ü业务成本 ü业务逻辑复杂性增加 （多维度Mapping以及性能 ） ü运维成本 üDDL ü故障切换时间长高可用方案 使用NewSQL代替传统分库分表 l 面临问题总结 ü数据量大 ，如何快速水平扩展存储 ü大数据量下 ，如何快速DDL ü业务层分库分表造成业务逻辑非常复杂 ü常规MySQL主从故障转移造成业务不可用 ü开源高可用运维方案不友好 使用NewSQL代替传统分库分表 l 为什么选择NewSQL üRDBMS-NoSQL-NewSQL üSharding语义下推 ü业务开发简单 ü运维成本降低 üSpanner/F1 üTiDB 分布式数据库TiDB应用实践经验 l TiDB特点 ü开源分布式NewSQL关系型数据库 ü 自动水平伸缩 ü强一致性分布式事务 ü基于Raft算法的多副本复制 ü高度兼容MySQL协议 ü…… 分布式数据库TiDB应用实践经验 l TiDB整体架构 üSQL层与存储层分离 üTiDB Server üMySQL协议 üTiKV Server üRocksDB üPD Server üetcd 分布式数据库TiDB应用实践经验 l TiDB测试-功能测试 ü支持绝大数据MySQL语法 ü存储过程 ／自定义函数 ／触发器等除外 ü基于MySQL业务无缝迁移 分布式数据库TiDB应用实践经验 l TiDB测试-压力测试 ü硬件环境 ü3台CPU密集型物理服务器 ，启动TiDB Server及PD Server ü3台IO/CPU密集型PCIe物理服务器 ，启动TiKV Server ü软件环境 ü数据库版本 ：TiDB-v1.1.0 ü压测工具 ：Sysbench-1.0.11 ü监控 ：TiDB 配套监控 （prometheus、grafana ）、Zabbix 分布式数据库TiDB应用实践经验 l TiDB测试-