互联网架构设计理念漫谈.pptx

所有这些都是相辅相成的空间换时间数据与计算切分多维度可用伸缩优化资源利用空间换时间多级Cache，静态化客户端页面缓存反向代理缓存应用端的缓存(memcache)内存数据库Cache(数据库、中间件)缓存的失效 抖动 备份缓冲Buffer 合并，减少写压力空间换时间(二)索引哈希 结合数组和链表实现快速寻址和插入B树 以查询为主导，避免多次IO倒排 有哪些信誉好的足球投注网站领域Bitmap 使得存储空间和速度最优化，适合海量数据计算数据与计算切分数据切分、分而治之(MR)基于数据分解无共享架构本地化处理多进程、多线程并行执行(MPP)基于问题分解批量效率优先传输与确认多维度可用(一)冗余负载均衡 RoudRobin hash失效切换 keepalived,heartbeat zookeeper容灾备份，恢复 离线与在线(数据同步) 全量与增量 热备与冷备读写分离并发量的要求一致性和可用性的衡量多维度可用(二)依赖关系模块低耦合分清主副流程，能异步则异步一致性要求 应答确认事务机制(rabbitMQ) 重试，幂等 LSN(kafka)监控分析多种级别的监控时效性要求 实时、分钟、小时统计、实时查询和业务的隔离，切入点采集方式，日志优化资源利用(一)资源容量有限流控异步缓冲时的进出平衡请求排队告警或者丢弃Socket连接控制短连接长连接 维护长连接是关键 推送 Comet(Long polling，stream) websocket全双工 优化资源利用(二)原子操作与并发控制共享资源的访问事务，一致性乐观锁Latch、Mutex、信号量写时复制copyOnwriteCASMVCC优化资源利用(三)基于逻辑的不同，采取不一样的策略计算型和IO型IO型事件驱动异步非阻塞(NIO)单线程减少线程的切换(redis)多线程，自旋spin，减少切换开销协程,消息传递(erlang)计算型多线程并行操作同一类型不同业务的资源消耗合理对逻辑分配节点和线程数量业务分流，优雅降低，优先执行级别高的任务优化资源利用(四)容错隔离异常状态的请求引流、禁闭、黑名单跨网，重试考虑资源释放资源始终是有限的请求的最后，无论是正常还是异常，记得释放资源超时的考虑伸缩拆分一竿子处理方式的缺点 体检排队，10个窗口 一个医生负责所有的体检项目 每个医生负责一项,比较慢的项目增加窗口业务逻辑分段、异步非阻塞水平切分，分库、分表无状态增加节点即可提高吞吐量避免分布式事务缓存核心价值观： 沟通、尊重、诚信、卓越 哈希索引适合综合数组的寻址和链表的插入特性，可以实现数据的快速存取。B树索引适合于查询为主导的场景，避免多次的IO，提高查询的效率。倒排索引实现单词到文档映射关系的最佳实现方式和最有效的索引结构，广泛用在有哪些信誉好的足球投注网站领域。Bitmap是一种非常简洁快速的数据结构，他能同时使存储空间和速度最优化（而不必空间换时间），适合于海量数据的的计算场景。核心价值观： 沟通、尊重、诚信、卓越 核心价值观： 沟通、尊重、诚信、卓越 实时、分钟、小时统计StormHadoop对于长连接的维护过程可以分两个阶段，一个是发送请求过程，另外一个是接收响应过程。在发送请求过程中，若发生IOException，则把该连接标记失效。接收响应时，服务端返回SocketTimeoutException，如果设置了超时时间，那么就直接返回异常，清除当前连接中那些超时的请求。否则继续发送心跳包(因为可能是丢包，超过pingInterval间隔时间就发送ping操作)，若ping不通(发送IOException)，则说明当前连接是有问题的，那么就把当前连接标记成已经失效；若ping通，则说明当前连接是可靠的，继续进行读操作。失效的连接会从连接池中清除掉。每个连接对于接收响应来说都以单独的线程运行，客户端可以通过同步(wait,notify)方式或者异步进行rpc调用核心价值观： 沟通、尊重、诚信、卓越 核心价值观： 沟通、尊重、诚信、卓越 核心价值观： 沟通、尊重、诚信、卓越