面对性能的挑战QCon Beijing 2010.pdfVIP

面对性能的挑战 QCon Beijing 2010 LI Daobing lidaobing@kingsoft. com June 2010 性能不够了 你设计了一个每秒 1000 次的信息收集网关, 结果现在需要 应付 100k/s 的请求, 容量不够 申请一台更好的机器 (scale up) 申请使用 Oracle 来储存数据 (scale up) 部署到多台机器上 (scale out) 不写数据库了, 直接写文件 (架构调整) 恭喜你，你搞定了 如何面对性能的挑战 你设计了一个叫 OO 的网页聊天工具,1000 人在线没有问 题。不过现在这个引用火了, 你有 100k 的人在线 scale up 的方法也许有点用, 但解决不了问题 部署到多台服务器? 那么各个服务器之间如何通信呢？ 分区？别搞笑了, 你以为你是在做网游还是在做聊天室!! 引入消息队列, 似乎能搞定 于是你买了十台机器, 装上 RabbitMQ, 做个客户端 hash 恭喜你，你又搞定了 如何面对性能的挑战 你开了一家名字叫做 dwidder 的微博公司, 也用了十台机器来 做 M, 似乎也能搞定了 不幸的是,你有一个叫奥巴马的用户, 他有 400 万的粉丝, 而且这个家伙是个话痨, 每分钟发一条推 于是你的服务器每天回档两次，每次12小时 显然MQ模式(即推模式)已经失效了, 你也许想试试拉模式 数据储存问题, ..., 解决了 缓存问题, , 解决了 缓存失效问题, ..., 解决了 恭喜你, 你又搞定了 如何面对性能的挑战 scale up 更好的机器, 更好的数据库软件,但提升空间有限, 性价比 也很差 scale out 更多的机器, 性价比很好, 但需要架构本身支持 架构调整 整体架构 缓存 储存 分布式切分 ... 软件调优 性价比好(通常没什么代价), 不过提升空间有限 如何面对性能的挑战 架构调优没有什么定式, 通常需要具体情况具体分析 作为一个架构师 了解必威体育精装版的技术 了解基本的架构模式 多做练习 多做测试 QCon Beijing 2010 性能相关的讲座 仅列出我听过的: Scala和Erlang并发比较 (邓草原) Facebook的扩展Memcached实战 (Marc Kwiatkowski) Twitter的可伸缩性数据架构 (Nick Kallen) 人人网技术架构的演进 (黄晶) 构建可扩展的微博系统 (杨卫华, 新浪) 部分与性能相关: 使用E构建成功的OA (Jim Webber) REST深度解析：超媒体 (Jim Webber) 下载: /agenda.html Memcached 简介 内存分区, 大概每个区 1M slab $ memcached -vv slab class 1: chunk size 96 perslab 10922 slab class 2: chunk size 120 perslab 8738 slab class 3: chunk size 152 perslab 6898 slab class 4: chunk size 192 perslab 5461 slab class 5: chunk size 240 perslab 4369 slab class 6: chunk size