京东技术开放日-分布式MYSQL数据库实践-秦波.pptx

秦波京东MYSQL分布式数据库

集群系统技术交流

介绍架构展望功能说明内容大纲

介绍

目前技术痛点业务驱动运维需要1自主开发的蓝海豚分布式MYSQL集群系统集群系统，支持高并发、高可用、高扩展性进度可控，迭代开发目前分布式中间件的一些开源实现功能简单，不满足需求非自主开发难维护

GroupN……架构–拓扑Group1M1S1-1S1-2MNSN-1SN-2SN-M……S1-MLVSJDBDproxyJDBDproxy……JDBDproxyMYSQLmetaserverApplicationApplicationMYSQLclient/JDBCMYSQLclient/JDBC应用层数据库集群系统2BlueDolphinProxyClusterClusterManagerCLI/WEBClientMn:GROUPnMASTERSn-m:GROUPnSLAVE:QUERY交互:系统元数据信息交互:主备同步:分布式数据库维护用

Front-endCommunication架构–系统实现MYSQLMYSQLMYSQLMYSQLConnectionPoolApplicationMYSQLMYSQLProtocolMYSQLMYSQLClusterManagerMetaserverMYSQLMYSQLSQLExecutorsSQLRouterSQLParserResult

ProcessorMYSQLProtocolMYSQLProtocolMYSQLProtocolMYSQLProtocolSQLAuth3

架构–SEDA并行处理框架4SEDA:StagedEventDrivenArchitectureThreadpoolThreadpoolThreadpoolSQLExecutorSQLRouterSQLParserResult

ProcessorSQLAuthEventqueueEventqueueEventqueueOutgoingEventsSQLExecutorSQLExecutor………ClientI/O线程池连接池3个线程池；可伸缩连接池；两者无绑定关系；

功能5跨机分库分表consistent-hashrangeSQL支持DDLDML(JOIN)DCL表级权限控制GRANTSELECTONT.TBLTO…在线数据扩展/自动迁移以分片为单位的数据迁移和自动扩展支持数据重构HAJDBDProxy层HA数据库层HA（Group内自维护）meta信息在线更新JDBDProxy节点在线更新meta信息

分库分表6IDMEMBE_IDINFO1Blue…3Dolphin…4Test1…5Test1…9Dolphin…分片1分片2拆分键f(Blue)=分片1f(Test1)=分片1f(Dolphin)=分片2路由算法拆分键主键拆分键可不等同于主键，目前单表支持指定一个列作为拆分键；支持自增键可作为拆分键分片MYSQLSERVER

分片可以理解为子表；是分布式系统管理库表的最小单位；在SERVER上分散分布。IDMEMBE_IDINFO3Dolphin…9Dolphin…IDMEMBE_IDINFO1Blue…4Test1…5Test1…

分库分表目前支持两种分库分表路由算法consistenthash路由RANGE路由按范围进行分片7例：1）表tt,拆分键id,设定的分片数128分片表明为tt_0~tt_127每个分片对应一致性HASH余数段2）执行INSERTINTOtt(id,name)VALUES(10240,‘BlueDolphin’)3）locate分片10240%CONSISTANT_HASH_VALUE=1010位于中；#当前代码中CONSISTANT_HASH_MAX_VALUE值固定为1024*1024#tt_0对应范围0~CONSISTANT_HASH_VALUE%1284）改写insert语句并发送到tt_0所在的GROUPmasterserver中执行SQL:INSERTINTOtt_0(id,name)VALUES(10240,‘BlueDolphin’)

SQL处理SQL解析词法/语法解析器通过flex/bison实现，可灵活定制，处理结