云存储的工作负载.ppt

云存储的工作负载 1.0介绍 2.0工作联系 3.0系统描述 4.0工作量的特性 5.0经济和提供 6.0工作负载最优快速分配 7.0有界写入的最优化 8.0评估 9.0结论 摘要 Janus 是划flash存储层系统，工作负载在云规模上分配2层文件系统：flash存储和磁盘。文件系统用FIFO(file-in-file-out)或LRU(least-recently-used)在flash层上存储新的文件和把他们放到磁盘层里, Janus 建设不同工作负载flash缓冲能力的紧凑指标，根据大量的文件系统对使用样本分配痕迹得到的。 1.0介绍 磁盘存储是很低的，效率也不快，磁盘容量的增加使任意输入或输出每个技嘉存储在磁盘中降低。我们为了弥补每个技嘉存储，通过增加flash存储提供高I/O速率。 存储需要在大云存储环境，不同的使用者和工作负载导致 大云存储环境也不同，因此分配有用的flash容量单元在工作负载并不理想；相反的，我们寻找不同的竞争使用者和工作量优化flash供应。 Janus案例在我们的分配文件系统（colossus 巨大）中使用几个产品工作负载，我们从一些工作负载测量里提供了案例有效的评估，使用其它产品工作负载增加评估。我们工作量的特性显示最主要的I/O接口是在近期的创建文件。根据观察，文件安排在创建文件的快速层和移动磁盘层，使用FIFO和LUR退出方针。研究显示：案例由28%阅读操作的文件是1%数据flash运行的。 文件的三个主要贡献： 1. 在大私有云里，存储使用格式的特征集中于近期所写的数据存储时间和I/O速率。 2.flash分配文件组的最优化格式问题：卸载最大阅读速率来优先flash增加和最大快速写作速率。 3.实验结果来自Colossus文件系统的实施。 2.0工作关系 多层存储系统类型有：内存、固态硬盘、磁盘、磁带。包括：分级存储管理（HSM）、多层存储、多层文件系统、磁盘存储或flash存储、基于盘区企业数量管理。大多数包括自动方式，移动数据基于I/O活动水平，使用者或管理者定义管理设备或显示规则。然而，他们并没有集中分配云规模部署，增加供应政策问题和分布式管理工作量监控兼容性。 TIP[21]使用暗示了未来I/O接口供应是通过应用程序员确定对数据提前获取，Janus不会依靠于明确的程序员的行为，暗示了API系统的使用。相反，我们从过去使用测量去预测不同使用者工作负载自动flash缓冲能力。Kroeger[14]在Linux核心水平提前获取内容去预测文件接口图案，使用过去接口序列；然而，它不是清楚怎么扩展分布是情况。 我们的方法于纳拉亚南（Narayanan） et la.[18]，分析几个企业工作量的痕迹去评估经济的替换flash存储磁盘可行性。我们集中大型云存储环境，发展算法是对于不同工作负载做出好的分配的选择，达到有意义地不同结果，关于使用flash有效和经济的方式。 3.0系统描述 在大型私有云数据中心的分布式文件系统里，Janus对工作负载提供快速存储分布案例（例如 Colossus）。下存储在明显的块存储是混合了磁盘和flash存储，文件可能放在flash层，之后放在使用FIFO或LUR方针的磁盘。我们一写的方式插入而不是读的方式插入于缓存里，因为它适合于我们系统。像GFS和Colossus的分布式文件系统特性是以读的方式而不是以写的方式插入一些指标，我们打算优化，特别是读的方式。因为数据接口直接发生顾客的块结点，不是每个块结点包含flash容量，读的方式插入不依赖写给顾客，另外读是为了填充数据于flash存储。另外，写返回快速存储认为瞬间操作，从磁盘获得读数据，转给本地网络链接，最终写进快速媒体里。 当前离线优化解决者制作分布案例，周期性调试工作量行为的变化和有用flash存储。在每一个工作量组，一个关键输入给求解是紧凑数据存储时间表达式，随着时间数据读取速率，从浏览文件系统元数据和I/O行为样本痕迹获得。 4.0工作量的特性 在数据中心，存储分享成千上万使用者与应用程序的关系。应用程序包括内容索引、广告服务、邮件、视频处理、小应用程序，小应用程序是由个人使用者拥有MapReduce职位，大的应用程序可能有许多部分职位。在数据中心，工作量特性和职位需求是关于使用者与职位的明显不同。 图1显示在数据中心：读的时间不同，位置也不同。所有读的时间表达：位置是由一分钟到一年变化。 4.1高缓冲能能 我们定义两个时间指标：FIFO时间和LRU时间，他们使用相同的退出方针。在创建文件时候，文件的FIFO时间有时间的限制；文件的LRU时间确定读者近期临时位置，在创建文件所需读取文件最长的时间。 FIFO时间分配直接表明：我们浏览文件系统元数据，它包括每一个文件创建时间，建立以字节方式