商品库 MySQL 优化实践 2011 Qcon Beijing.pdf

商品库 MySQL 优化实践 2011 Qcon Beijing.pdf

  1. 1、本文档共29页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
淘宝 商品库MySQL 优化实践 QCon 2011 Beijing   核心系统数据库组   余锋(褚霸) 2011/04/08 Agenda 商品库项目背景介绍以及约 技术要求和方案 性能保证 安全性保证 运维保证 优化成果 交流时间   商品库( 单机,测试) 情况 • 无复杂查询,离散度高 • 记录数:1亿条键值对 • 记录大小:100 字节  • 数据文件:170G • 访问热点情况:20% 的键占用55 %的访问量 • 键读写比例: 10 :1   硬件选择 • 主机:  Dell; PowerEdge C2100; • 处理器:  physical = 2, cores = 12, virtual = 24  • 内存: 96 G  • RAID 卡:LSI MegaSAS 9260/512MB Memory • PCI-E Flash 卡: Fusion-io ioDrive 320GB/MLC  • 硬盘: SEAGATE ST3300657SS  300G x 12  软件选择 • 发行版:  Red Hat Enterprise Linux Server release 5.4  • 内核:  Kernel | 2.6.18-164.el5  • 文件系统:Ext3  • Flashcache: FB 内部版本  • MySQL 版本:  5.1.48-log Source  Agenda 商品库项目背景介绍以及约 技术要求和方案 性能保证 安全性保证 运维保证 优化成果 交流时间 商品库技术要求 • 高可用,安全第一  • 高性能,性能平稳,性价比高  • 控制运维风险         技术方案 • MySQL数据库集群,数据水平切割,主从备份  • 采用高性价比PC服务器,大内存,强劲CPU ,可靠性高 • 采用高性能PCI-E Flash 卡作为cache,   提高系统的IO性能  • 充分利用系统各部件的cache,  大胆采用新技术  • 充分考虑容灾,在各个层面考虑数据的安全性   系统资源规划 内存分配: • MySQL • InnoDB buffer pool • OS pagecache  • 驱动程序   IO能力分配: • 读能力,零散读,提高IOPS • 写能力,集中写,提高吞吐量   Cache 分配: • MySQL 内部cache • 匿名页面/ 文件页面 • Flashcache 混合存储 • Raid 卡内部cache  调优指导思想 • 杜绝拍脑袋,理论(源码)指导+ 精确测量+ 效果验证 • 内存为王 • 数据访问规律导向,随机数据和顺序数据尽量分离 • 尽量提高IO 的利用率,减少无谓的IO能力浪费 • 在安全性的前提下,尽可能的利用好系统各个层次cache       调优工具 • 源码+emacs+ 大脑 • 必备工具 o systemtap o oprofile o latencytop  o blktrace/btt/seekwatcher o aspersa o tcprstat o sar o gdb  • 自制工具 o bash脚本 o gnuplot 脚本       Agenda 商品库项目背景介绍以及约 技术要求和方案 性能保证 安全性保证 运维保证 优化成果 交流时间 MySQL 数据库   考虑因素: • 主从备份带来的性能影响 • 复杂数据查询操作是否需要预留内存以及上限 • 数据备份dump 对系统的影响,避免系统

您可能关注的文档

文档评论(0)

东山书苑 + 关注
实名认证
内容提供者

业务以学生学习成长为中心,为外语培训、中小学基础教育、学前教育,提供各种学习资料支持服务。

1亿VIP精品文档

相关文档