044740_浅析分布式存储架构—设计自己的存储-徐振华.pptx

浅析分布式存储架构—设计自己的存储技术中心·架构部徐振华2012-02-06分布式存储架构介绍和现状需要那些基础知识 高并发服务端架构 常用存储架构比较如何设计分布式存储的架构 分析需求，做好平衡 如何做到RAS(可靠，可用，可扩展); 利用硬件,分级存储内容概要介绍和现状介绍重点 ： 架构理论 ： CAP : Consistency Availability Partition tolerance 只能满足其二 BASE :Basically Available（基本可用）Soft state（柔性状态） Eventually consistent（最终一致） ACID （原子性 一致性 隔离性 持久性） I/O五分钟法则 Amdahl定律和Gustafson定律 , 摩尔定律 介绍和现状现状 2011年，Amazon S3服务增加了5000亿份存储对象和文件 技术: SimpleDB ， Dynamo目前全球累计已经有超过1400亿张照片发布在Facebook网站上 每天平均有超过2.5亿张照片上传至Facebook Facebook目前存储的照片和视频数据量超过100PB(1PB=1024TB) HBase每月存储1350亿条信息 技术: Facebook图片存储系统 HayStack, cassandra，hbase 2008年 google谷歌网页索引数量突破1万亿 技术: Google Megastore , GFS, bigtable 基础知识基础知识数据结构网络集群操作系统存储领域其它领域网络服务器模型?s:1 , c:1 , bio; 一个请求一个线程 s:1 , c:n , nio ?;多个请求，一个线程分发 seda :Staged Event-Driven Architecture Select (轮询) 和 epoll （事件驱动 callback）;C10K问题,C500K，C**K本质 方法: I/O模型 职责划分 内核和协议栈优化目标 :尽量少占用CPU ，提高资源利用率 DRM的目标一致常用网络库Netty , Mina， libevent，libev, ACE，ASIO基础知识 各种IO模型分布式存储架构数据结构主要存储模型Consistent hash, (去中心化 )B+ tree , (实时,随机)LSM tree, (批量 顺序)其它Bitmap (bloom filter 缓存命中)Dynamo,hbaseMerkle Tree (一致性)DynamoSkip List ( 跳表 lsm变形)leveldbprio_tree (优先有哪些信誉好的足球投注网站树mmap) mognodb 基础知识 consistent hash 分布式存储架构 B+ tree分布式存储架构 cassandra 数据存储过程分布式存储架构 Lsm tree 分布式存储架构 Merkle Tree分布式存储架构集群无主 ；Master_slave ; P2P(全主)操作系统进程调度 内存管理 文件管理：存储领域存储硬件 事务和锁（ MVCC 二段提交 三段提交 ,paxos）常用数字 扇区 512, 内存页4k , 磁盘块大小 4k mtu 1500其它领域人工智能 : k_means基础知识基础知识基础知识应用Dynamo数据同步 , BT下载 Merkle Treememcached linux 内存管理 + libevent + (consisten hash ) linux vfs体系分布式存储架构如何设计如何设计架构分析需求，做好平衡使用Kiss原则 , 做到RAS设计和充分利用硬件,分级存储实践 分析需求，做好平衡1 分析需求 数据结构 文件 table , object 数据特点 容量大小 访问模式 读写比例，实时读写，顺序读写 实时性2 平衡 1 CAP理论 , BASE理论/ACID 2 选择存储模型 B+ or LSM 资源利用率和管理 高吞吐和低延迟 随机与顺序 规模与实时 B+ or LSM 3 实践 Mongodb选择如何设计 原则和目标原则： kiss unix 设计哲学目标: RASRAS: Reliability, Availability, Scalability 高可靠，高可用，高扩展R:过载控制: Qos, (随机早期检测)A: 容灾 ?多副本 （同机柜，机房，数据中心）S 扩容 ? 分片 ： a 取模 b 一致性hash c B+ tree 或变种如何设计 利用硬件,分级存储数据中心Facebook开源服务器、数据中心,将开源存储方案, 分级存储 网络延迟