非均匀带宽下纠删码分布式存储系统的节点修复方案研究.pdf

华中科技大学硕士学位论文

摘要

纠删码作为一种低成本可靠性冗余技术，被广泛应用于分布式存储系统中。相比

于副本冗余技术，纠删码降低了存储开销，但是在节点修复时会面临带宽瓶颈问题；

同时实际生产环境中节点的网络带宽往往是非均匀的，这会进一步加剧带宽瓶颈问

题。虽然现有最好的节点修复算法针对节点下载带宽的非均匀性进行了优化，但节点

上传带宽同样是非均匀的，使得节点上传链路也会成为修复带宽瓶颈；此外，通过观

察发现，参与修复节点的上传带宽资源比下载带宽资源更为紧缺，从而对节点修复效

率的影响更大。

针对上述问题，提出了优先上传带宽并兼顾下载带宽的纠删码分布式存储系统

的高效节点修复方案。首先，针对单节点修复问题，设计了基于分组路由构造的单节

点修复方案，其根据上传带宽对节点进行分组以优先平衡上传流量，然后根据分组中

节点的下载带宽构造出修复路由以兼顾平衡下载流量，从而整体实现节点修复性能

的提升。其次，针对多节点修复问题，设计了基于负载均衡的多节点修复方案，利用

同条带数据块修复的可协作性，构造了新的修复路由，从而相比于未协作的修复路由

减少了传输开销，并进一步通过调度算法以合理分配修复任务，从而实现节点间的负

载均衡。最后，针对大条带场景下节点修复问题，设计了基于局部优化的大条带节点

修复方案，通过对大条带中的瓶颈节点进行分组路由构造，优化大条带节点修复中的

瓶颈链路，从而实现大条带场景下的节点修复性能提升。

基于上述设计，实现了非均匀带宽下纠删码分布式存储系统的节点修复原型系

统GroupRouter，在阿里云ECS集群上的实验结果表明，与现有最好算法Repairboost

相比，在非均匀带宽下，GrouteRouter的单节点修复时间减少达到18.9%；进一步的，

通过在多节点和大条带场景下的优化，GrouteRouter的多节点修复时间减少达到

25.1%，大条带修复时间减少达到26%。

关键词：分布式存储；纠删码技术；节点修复；非均匀带宽

I

华中科技大学硕士学位论文

Abstract

Erasurecodinghasbeenwidelyusedindistributedstoragesystemsasalow-cost

reliabilityredundancytechnology.Comparedwithreplication,erasurecodingreduces

storagecosts,butitfacesbandwidthbottleneckproblemduringnoderepair.Moreover,the

unbalancedavailablebandwidthofnodesintheactualproductionenvironmentfurther

aggravatesthebottleneckproblem.Theexistingnoderepairalgorithmpreferentially

balancesthedownloadload,whichmakestheuploadlinkofnodesinNon-uniformtraffic

networkenvironmentbecomethebottleneck.Inaddition,itisobservedthattheupload

bandwidthresourcesofnodesparticipatingintherepairarescarcerthandownload

bandwidthresources,whichhasagreaterimpactonnoderepairefficiency.

Tosolvetheaboveproblems,anefficient