NetApp大数据时代敏捷存储数据架构.pdfVIP

白皮书 NetApp 大容量解决方案： 大数据的敏睿基础架构 NetApp 公司：Ingo Fuchs 2012 年4 月| WP-7161 内容提要 企业正在步入数据规模的新时代，处理和存储的数据量逐渐打破存储行业的所有架构体。 NetApp 通过“大数据ABC ”— 分析(Analytics)、带宽(Bandwidth) 和容量(Content)，提供 解决方案来解决大数据规模难题，帮助客户了解大数据集、快速移动数据，并在不增加操作 复杂性的情况下长期存储重要内容。 本白皮书重点介绍NetApp® 大容量解决方案，包括安全的无限文件服务基础架构、企业内容 存储库和分布式内容存储库。借助这三种NetApp 解决方案，企业可以从急剧增大的数据集获 得最大价值。 目录 1 步入大数据规模的新时代 3 2 基础架构突破点 3 3 大容量难题 5 4 大容量解决方案环境 5 4.1 NetApp 文件服务解决方案5 4.2 NetApp 企业内容存储库解决方案6 4.3 NetApp 分布式内容存储库解决方案7 5 总结 8 插图目录 图1) 基础架构突破点在何处4 图2) NetApp 大数据ABC ：分析(Analytics)、带宽(Bandwidth) 和容量(Content) 4 图3) NetApp 文件服务解决方案6 图4) NetApp 企业内容存储库解决方案7 图5) NetApp 分布式内容存储库解决方案8 2 1 步入大数据规模的新时代 在二十世纪九十年代，IT 团队专注于使企业的关键应用和基础架构达到最佳性能。这些孤岛式“记录 系统”在跟踪重要信息方面表现良好，但是成本非常高，无法在群体之间共享数据，并且不能通过对数 据进行充分深入的分析带来业务优势。在二十一世纪初，IT 团队的工作重心转向了提高效率：如何做 到事半功倍。企业现有基础架构的虚拟化、共享和整合等技术成为推动IT 团队工作的主要动力。 我们现在正步入大数据规模的新时代，企业处理和存储的数据量逐渐打破当今存储行业的所有架构体。 因此，IT 团队努力将这些在二十世纪九十年代和二十一世纪初构建的现有记录系统转变成“支持系 统”：可高效地将必要信息实时提供给适当的人，帮助他们执行更精深的分析，并做出更明智的业务决 策。 从记录系统发展到支持系统 数据本身没有任何价值。使用数据加快创造业绩、向客户提供服务并增加收入，才能实现其价值。可扩 展存储面临的挑战是通过明显增大的数据集实现这些业务成果。 简言之，数据量不断增长，数据对象本身也越来越大。所有这些因素共同作用，给现有基础架构带来巨 大的规模压力，对于存储平台尤其如此。这就是NetApp 所谓的大数据难题：企业如何从这一巨大的数 字信息世界获得最大价值。 2 基础架构突破点 当今的企业发现很难管理大数据的指数型增长。传统方法存在局限性，难以容纳所有数据、无法及时分 析数据，也不能高效地将相关数据集存储更长时间。整个行业已着手解决如何在虚拟环境中管理增加的 基础架构复杂性这一问题，但是在可扩展的环境中处理基础架构将带来一些非常重大的难题。 大数据来自哪里？ 虽然人为生成的数据（例如Facebook 图片和微博信息）最受媒体关注，但最大的数据增长来自计算机 生成的数据集，包括消费者行为跟踪应用程序和金融市场分析。 大数据主要沿着三个轴打破当今的存储基础架构，如图1 所示。 ● 复杂性。数据不再只是关乎文本和数字，而是关乎实时事件和共享基础架构。信息现在相互关联、 高度保真，而且包含多种数据类型。应用普通的有哪些信誉好的足球投注网站、存储和分类算法，复杂性明显提高，而且效 率也显著降低。 ● 速度。获取数据有多快呢？高清视频、互联网到播放设备的流媒体以及慢动作监控视频—所有这 些数据的获取速度都非常快。企业必须跟上数据流动速度，才能使信息发挥效用。他们还必须跟上 获取速度，才能更快地取得业务成果—在军事行动中挽救生命。 ● 卷。收集的所有数据都必须存储在安全且随时都能访问的位置。鉴于数据量如此之大，IT 团队必须 决定多少才算“数据过多”。例如，他们可能必须每周清除所有数据，在下一周再从头开始。但是， 对于许多应用来说，根本无法做到这一点。因此，必须在不增加操作复杂性的情况下将更多的数据 存储更长的时间。这会导致很快就会在“量”轴上打破基础架构。 3 图1) 基础架构突破点在何处？ NetApp 在一个框架内定义了管理大规模数据的解决方案，该框架称为“大数