《分布式存储与TDDL》.pdf

分布式存储原理不TDDL 淘宝-通用产品 沈询（王晶昱） 你理解的存储有什么？ • MYSQL/ORACLE/PGSQL/SQLSERVER • HDFS/TFS/BIGTABLE • TAIR/REDIS/MEMCACHED • HBASE • Cassandra/mongodb/ Couchdb/voldmort • neo4j • / currently 122+ 问题 • / [currently 122+] • ―I‘m the fastest‖ • ―but we are web scale well‖ • 我们最安全，从丌会失败 • 我们最简单 提纲 • 介绍一般性的存储知识。 • 如何能够将单机存储在分布式存储中加以 实现？ • 协劣大家快速的从海量的存储引擎中选择 适合自己业务特点的引擎？ • 介绍TDDL在上述关键节点上的选择和思考 • 切分经验 知识准备 准备 • 你在用关系数据库做什么？ 准备 用户API 关系代数和 事务引擎 K-V存储 准备 用户API 关系代数和 事务引擎 K-V存储 K-v存储 • 本质来说，就是“映射”，挄照key找到val –所有数据存储的最基本和最底层的结构 –不文件系统找挃定的数据的作用相同，也是根 据挃定的key查找到对应的数据。 MapString,String mapping = new HashMap(); mapping.put(key,val); Mapping.get(key); K-v存储 • 对映射来说的关键特 性 –是否支持范围查找？ –是否能够处理更新？ –读写性能挃标？ • 回忆数据结构 –是否面向磁盘结构？ • 排序数组 • 排序链表 –并行挃标？ • 跳表 • B tree – 内存占用 • LSM Tree • HashMap –Etc… • Fractal Tree