并发概念讨论和技术建议.ppt

系统由三个模块组成：Scheduler、Agent、网关，三个模块的交互都是通过ZooKeeper完成，极大简化了各个节点之间的通信机制，相对于第二代HOLD的开发简单了很多。Scheduler作为集群的管理调度中心，主要功能包括：1、管理set，提供创建、删除set、set内节点替换等工作；2、所有的DDL操作统一下发和调度；3、监控set内各个节点的存活状态，当set内主节点故障，发起高一致性主备切换流程；4、监控各个set的CPU、磁盘容量、各个表的资源消耗情况，必要的时候自动发起扩容流程；5、Scheduler自身的容灾通过ZooKeqzer的选举机制完成，保证中心控制节点无单点。Agent模块负责监控本机MySQL实例的运行情况，主要功能包括：1、用短连接的方式周期性访问本机的MySQL实例，检测是否可读、可写，若发生异常，会将异常信息上报到ZooKeeper，最终会由上面描述的Scheduler模块检测到这个异常情况，从而发起容灾切换；2、检测主备复制的执行情况，会定期上报主备复制的延时和延迟的事务数，若发生了主备切换，自动向新主机重建主备，因此MySQL的主备不需要DBA干预，对于新增的实例会自动采用xtrabackup通过主机自动重建数据；3、检测MySQL实例的CPU利用率和各个表的请求量、数据量、CPU利用率，上报到ZooKeeper，ZooKeeper通过全局的资源情况抉择如何扩容、缩容；监控是否有下发到自身的扩容任务，如有则会执行扩容流程（下面会有描述）；监控是否要发生容灾切换，并按计划执行主备切换流程。网关基于MySQLProxy开发，在网络层、连接管理、SQL解析、路由等方面做了大量优化，主要特点和功能如下：1、解析SQL，将识别出的DDL语句直接存到ZooKeeper，让Keeper来统一调度；2、WatchZooKeeper的路由信息，拉取必威体育精装版的路由表保存到本地文件和内存；3、将SQL请求路由到对应的set，支持读写分离；4、对接入的IP、用户名、密码进行鉴权；5、记录完整的SQL执行信息，与秒级监控平台对接完成实时的SQL请求的时耗，成功率等指标监控分析；6、对count、distinct、sum、avg、max、min、orderby、groupby等聚合类SQL一般需要访问后端的多个set，网关会分析结果并做合并再返回，暂不支持跨setjoin和分布式事务；7、网关无状态，既支持与业务部署到一起，也可以独立部署（可通过TGW或者LVS做容灾）。1.基于Canal开源产品，获取数据库增量日志数据。2.典型管理系统架构，manager(web管理)+node(工作节点)a.manager运行时推送同步配置到node节点b.node节点将同步状态反馈到manager上3.基于zookeeper，解决分布式状态调度的，允许多node节点之间协同工作.高并发-队列应用场景流量削峰：系统的瓶颈一般在数据库上，比如扣减库存、下单等，此时可以考虑使用队列将变更请求暂时放入队列，通过缓存+队列暂存的方式将数据库流量削峰。同样，对于秒杀系统，下单服务会是该系统的瓶颈，此时可以使用队列进行排队和限流，从而保护下单服务，通过队列暂存或者队列限流进行流量削峰04数据同步：比如想把mysql变更的数据同步到Redis，或者将mysql数据同步到mongodb,或者让机房之间的数据同步，或者主从数据同步等，有相关软件：databus、canal、otter等。使用数据总线队列进行数据同步的好处是可以保证数据修改的有序。03异步处理：使用队列的一个主要原因是进行异步处理，比如用户注册完成后，需要发送注册成功邮件/新用户积分/优惠卷等；缓存过期时，先返回过期数据，然后异步更新缓存、异步写日志等。01系统解耦：比如用户支付完成订单后，需要通知生产配货系统、发票系统、库存系统、推荐系统、有哪些信誉好的足球投注网站系统等进行业务处理。02Canal同步缓存Canal下发任务给消息队列Dubbo是阿里巴巴公司开源的一个高性能优秀的服务框架，使得应用可通过高性能的RPC实现服务的输出和输入功能，可以和Spring框架无缝集成。主要核心部件：Remoting:网络通信框架，实现了sync-over-async和request-response消息机制.RPC:一个远程过程调用的抽象，支持负载均衡、容灾和集群功能Registry:服务目录框架用于服务的注册和服务事件发布和订阅徐桥姓名：189425