Memcached内存分析、调优、集群.ppt

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 分布式数据库 CouchDB持久化 Cassandra分布式/NoSQL/scale 适合于实时数据处理 MongoDB分布式/NoSQL BigTable/Hbase 适合于数据仓库、大型数据的处理与分析 memcached测试 memdmemdb write平均 write最大 read平均 read最大 memd 16222 18799 20971 22497 memdb 8958 10480 6871 12542 memdb/TT/redis测试500w+100byte read/write memdb/TT/redis测试50w+20k read/write Java客户端 spymemcached danga taobao client sohu dal * * * * * * * * * * * * * * * * * * * * * * * * * memcached机制 守护进程机制 UNIX daemon Socket事件处理机制 non-blocked：非阻塞 libevent：异步事件处理 epoll/kqueue 内存管理机制 slab：内存分配机制 LRU：对象清除机制 Hash机制：快速检索item 多线程处理机制：pthread(POSIX)线程模式 编译时开启：./configure –enable-threads 目前还比较粗糙，锁机制locking不够完善 负载过重时，可以开启(-t线程数为CPU核数) memcached内存管理机制 SLAB内存处理机制 提前分配大内存slab 1MB，再进行小对象填充chunk 避免大量重复的初始化和清理?减轻内存管理器负担 避免频繁malloc/free?系统碎片 懒惰检测机制 不检测item对象是否超时 get时检查item对象是否应该删除 懒惰删除机制 删除item对象时，不释放内存，作删除标记，指针放入slot回收插槽，下次分配的时候直接使用 名词解释 slab class：内存区类别(48byte-1MB) slab==page：动态创建的实际内存区 slab classid：slab class的ID chunk：数据区块，固定大小 item：实际存储在chunk中的数据项 slab内存结构图：二维数组链表 slab是一次申请内存的最小单位 每个slab都是1MB chunk填充item后会有空间浪费 双向链表 key 索引表 剩余空 间指针 slab指针列表 回收空间指针 slab内存分配实例 class size chunks pages 大小 1 96 10922 1 1MB 2 120 8738 43 43MB 3 152 6898 1 1MB 4 192 5461 186 186MB 5 240 4369 2 2MB 6 304 3449 2 2MB 7 384 2730 9 9MB 8 480 2184 91 91MB 9 600 1747 104 104MB 10 752 1394 274 274MB 11 944 1110 173 173MB 12 1184 885 79 79MB 13 1480 708 67 67MB 14 1856 564 69 69MB 15 2320 451 75 75MB 16 2904 361 105 105MB 17 3632 288 128 128MB 18 4544 230 129 129MB 19 5680 184 111 111MB 20 7104 147 119 119MB 21 8880 118 157 157MB 22 11104 94 226 225MB 23 13880 75 315 313MB 24 17352 60 356 354MB 25 21696 48 330 328MB 26 27120 38 259 255MB 27 33904 30 181 176MB 28 42384 24 141 137MB 29 52984 19 111 107MB 30 66232 15 87 83MB 31 82792 12 65 62MB 32 103496 10 38 38MB 33 129376 8 25 25MB 34 161720 6 18 17MB 35 202152 5 11 11MB 36 252696 4 9 9MB 37 315872 3 8 8MB 38 394840 2 14 11MB 39 493552 2 6 6MB 40