基于K—V模式的高可用性分布式存储技术研究.pdfVIP

DOI：10．3969／j．issn．1009-9492．2014．04．036 基于K—V模式的高可用性分布式存储技术研究 罗 常 (广东电网公司茂名供 电局，广东茂名 525000) 摘要：随着互联网的普及，用户量的日益增多，每天互联网上产生的数据高达T级别甚至P级别，因此对数据的存储提出了更 高的要求。针对K—V模式的高可用分布式存储技术进行研究 ，重点分析Dynamo系统的高移植性、高可用性、高扩展性特点， 并对Dynamo系统中涉及的分布式哈希算法 、哈希树、Gossip协议进行阐述。 关键词：分布式存储；Dynamo 统；哈希树；Gossip协议 中图分类号：TP393 文献标识码：A 文章编号：1009—9492(2014)04—0137一o4 ResearchonHigh-AvailabilityDistributedStorageTechnologyBased onK-．．VMode LU0Chang (MaomingPowerSupplyBureau，Maoming525000，China) Abstract：WiththedevelopmentofInternet，computersbecomeacommontoolindailylifeandmoreandmorepeopleenjoysurfingthe Internet．W iththeincreasingnumberofcustomersonIntemet， companieshavetodealwithdatainTB orevenPBeveryday， resulting inhigherrequirementofdatabasetocopewith largescaledata．Thispapermainly focusesontheresearchononeofthedistribute database， anddistributedatabasewillandmustbeappliedwidelyinpractice， duetoitshighavailability， real-time， andgreat extensibility． Keywords：distributedstorage；dynamosystem；highavailability 0引言 致了系统吞吐量和性能上无法满足现在互联网的 随着互联网的推广 ，越来越多的人更加依赖 需求，再加上为了防止单点故障，数据必然有备 于网络。新型互联网技术的出现，使得人们的生 份与复制 ，在强一致性的要求下，又必将以损失 活变得更加网络化。随之而来的是大数据问题 ， 性能为代价。种种迹象表明传统数据库技术已经 其中首当其冲的就是数据的存储问题 ，以及数据 无法满足现在互联网公司的需求 】。 库实时响应问题。以2013年阿里巴巴双十一活动 所 以，在这种情况下，分布式存储技术诞生 当天的数据为例 ，2013年 11月 l1号，阿里巴巴 了。分布式存储技术凭借其独特的高可用性 、完 公司旗下支付宝全天成交额高达350亿 ，支付宝 全分布式存储，以及实时眭高等，已经成熟被应 达成的交易笔数为 1．7亿笔 ，全天总订单数量为 用到各家大型互联网公司，比如百度、腾讯和阿 1．67亿个 ，一天内最高峰值为 13637人同时成功 里巴巴等4J【。 付款 ¨]。 1分布式存储技术简介 透过阿里 巴巴公司的数据 ，可 以看出互联网 传统关系数据库在很多应用场合出现了瓶 对数据库存储