Hekaton初探.pptx

Hekaton 初探 PASS Beijing Local Chapter Session 宋沄剑 01/26/2013 由一个类比开始 硬盘作为辅助存储，如果大量的操作，每次只取少量的数据的话，就好像你需要喝水，出家门的超市买一瓶好了，而你却坐飞机去上海买…… 2 你也许或说，这个类比不太恰当…… 如果说传统的硬盘作为辅助存储，那么每次缓存到Buffer中不也是只访问内存吗？ 但请想一想并发问题，就像去即使同样是去附近的超市买水，只有一个收银台，10个人同时买也需要等待，使用Hekaton的内存优化表就像是增开了10个收银台 而Native Compile存储过程就像是你出门去超市原来是一路小跑，而现在是开车去，速度大大提升。此外我们还可以看出，你家离超市越远，开车去越合适，就像Native Complie存储过程，存储过程中逻辑越多越长性能提升越明显 Hekaton的两大部分 内存优化表 本地编译存储过程 3 OLTP面临大量并发时会遇到的瓶颈 CPU Hekaton通过本地编译存储过程来减少CPU周期 IO 通过内存优化表，大量减少IO 内存 Hekaton并不能减少内存使用，相反由于多版本并发控制(MVCC)的出现，反而会增加内存使用 网络 Hekaton对于网络方面没有影响 4 议程 Hekaton 出现的硬件背景 Hekaton使用的Hash-Index与传统B-Tree Index的比对 实现隔离的不同方式 日志写入的不同方式 Hekaton的兼容性和适用场景 读性能并发测试DEMO 5 硬件背景 TB级的主存不再是遥不可及的事了。 CPU主频增长已经基本停滞，而CPU核数的增长会越来越多，Tilera曾在2008年预测，嵌入式系统市场在2017年将出现4096核的芯片，Sun在2008年时曾经预测，在2018年，普通服务器将采用32到128核芯片。 NUMA构架的成熟消除了大量CPU和主存之间通路的瓶颈，并且Windows和SQL Server OS都原生支持NUMA 6 NUMA节点的概念 7 SQL Server OS在SMP硬件 8 SQL Server OS在NUMA硬件 9 议程 Hekaton 出现的硬件背景 Hekaton使用的Hash-Index与传统B-Tree Index的比对 实现隔离的不同方式 日志写入的不同方式 Hekaton的兼容性和适用场景 读性能并发测试DEMO 10 硬盘结构 11 B-Tree Index 12 5 3 7 1 4 6 8 B-Tree Index 13 面对以磁盘作为辅助存储的数据结构。 由于磁盘存在旋转延迟和寻道时间，所以磁盘单点查找很慢，但顺序读非常快。B-Tree的结构使得尽量减少查找，数据几何级的增长也只可能导致B树高度只增加一层。并且叶子节点之间通过双链表连接，使得在没有外部碎片的情况下，和硬盘磁道顺序保持一致，所以顺序读非常快。 Hash-Index 14 G M Hash Function G Hash Bucket M Hash Bucket G1 G2 G3 G4 M1 M3 M2 Hash Index 15 以内存作为辅助存储的数据结构。 内存没有寻道时间，对于所有内存单位的访问时间是一样的，因此Hash对于所有的行查找都是通过LOOK UP进行的 对于大量的随机读写，性能提升显著，尤其是where a=a1 and b=b1 and c=c1….这类情况 对于大量的顺序读，性能提升非常有限 议程 Hekaton 出现的硬件背景 Hekaton使用的Hash-Index与传统B-Tree Index的比对 实现隔离的不同方式 日志写入的不同方式 Hekaton的兼容性和适用场景 读性能并发测试DEMO 16 SQL Server实现隔离的方法 17 悲观并发控制 让事务以独占的方式占有某些资源。也就是通过所谓的“锁”来实现隔离。 不同的隔离等级，锁的行为也不同。 乐观并发控制 快照隔离 Hekaton实现隔离的方法和基本原理 18 多版本并发控制(MVCC) 所谓多版本指的是，同一行数据可能存在多个版本。 行数据 开始时间戳 结束时间戳 逻辑时间严格递增，每个事务都有一个对应的逻辑时间，只有行数据的逻辑时间小于事务的逻辑时间的行(也就是在事务开始前被Commit的行)对于事务可见。 行数据 1 无限 第二次修改,事务B（时间4） 行数据 4 无限 第一次插入,事务A（时间1） 事务B将结束时间改为4 同一个数据，不同版本 Hekaton垃圾回收机制 19 垃圾回收 如果一行对于所有的事务都不可见，则这行会被后台线程垃圾回收以释放内存。 只插入更新 由于是只插入更新，导致同一行数据可能存在多个版本，因此随着