计算机专业外文翻译----关于研究NutchLucene的互操作性.doc

Scale-up x Scale-out: A Case Study using Nutch/Lucene Maged Michael, José E. Moreira, Doron Shiloach, Robert W. Wisniewski IBM Thomas J. Watson Research Center Yorktown Heights, NY 10598-0218 向上向外扩展：关于研究Nutch/Lucene的互操作性 摘要 在过去几年中，多处理系统提高运行能力的解决方案一直困扰着主流的商业计算。主要的服务器供应商继续提供越来越强悍的机器，而近期，向外扩展的解决方案，规模较小的机器集群的形式，更加被商业计算所接受。向外扩展的解决方案是以网络为中心高吞吐量的特别有效的应用。在本文中，我们调查了向上扩展和向外扩展这两种相对的方法在一个新兴的有哪些信誉好的足球投注网站应用程序中并行的情况。我们的结论表明，向外扩展的策略即使在向上扩展的机器中依然可以表现良好。此外，向外扩展的解决方案提供更好的价格/性能比，虽然增加了管理的复杂性。 简介 在过去10年里的商业计算中，我们目睹了计算机系统单处理器到多处理器的全面换代。80年代初期引发的计算机行业的科技革命导致它占领了90年代商业计算大部分的市场。 我们可以根据不同的做法，将采用多处理器系统的运算（包括商业和技术/科学）分为两个大组： ·向上扩展：大型共享存储服务器的部署应用（多处理系统）。 ·向外扩展：多个小相互服务器应用程序的部署（网络集群）。 在第一阶段的商业计算革命中，向上扩展的优势是显而易见的。多处理系统规模的增加，处理器时钟速率的提高，提供更高的计算能力来处理事物的需要，即使是目前最大的公司也面临这些问题. 对称多处理系统是目前的主流商业计算。IBM 、惠普和Sun这样的公司每一代人都投入巨资以建设更大、更好多处理系统。 最近，针对于商业计算的向外扩展越来越被关注。对于许多新的以网络产品为主的企业（例如谷歌、雅虎、eBay、亚马逊），使用向外扩展是是解决必要计算能力唯一的办法。另外，计算机制造商更容易部署基于机架最佳化和刀片服务器的向外扩展解决方案。向外扩展在过去好多年一直是大规模科学计算的唯一可行方案，我们可以观察世界500强系统的发展。 在此论文中，我们研究的是一个新兴的商业应用，非结构化数据的检索，根据两个不同的系统：一个是以向上扩展为基础的超线程酷睿POWER5处理器。另一种是基于IBMBlade Center刀片服务器向外扩展系统。这两个系统配置价格差不多（约20万美元），从而可以公平的进行性价比的比较。 其中一个重要的结论，我们的工作是一个“纯粹”的向上扩展的方案而不是很有效的利用所有的处理器在一个大型的对称多处理。在纯粹的向上扩展中，我们只有一个实例运行的应用程序中的SMP，并使用该实例的所有可用资源（处理器）。我们更擅长于开发Power5的对称多处理与“基于abox向外扩展”的方案。在这种情况下，多个实例方法同时运行在一个单操作系统下。后一种做法显著提高性能，同时又能保持单一系统形象，是一个很具优势的对称多处理系统。 我们的另外一个结论是，同样的价格尺度系统的情况下，向外扩展的系统能够实现4倍的性能。在我们的应用案例中，这一业绩的衡量精确到了秒。向外扩展系统需要使用多个系统的图像，因此，可以有效方便的降低管理成本。不同情况下，这点或许能改善性能。 其余部分本文安排如下.Section 2叙述了向上扩展系统和向外扩展系统荣在我们的研究中的配置。第3节介绍了Nutch / Lucene在我们的系统中运行的工作量。第4节介绍我们的结论。 向上和向外扩展系统 在IBM的产品线，系统z,p和i全部建立在具有跨度范围广泛的计算能力的多处理系统上。我们选择了Power5的p5 575机器作为代表着目前技术水平的系统。这个8位或16位系统已经由于其低成本，高性能，小型化（2U或3.5英寸的高24英寸机架）已经吸引了不少客户。POWER5的p5 575是图片如图1所示。 我们所用的特殊p5 575测试系统拥有16个8位酷睿单元和32GB（1G= 1,073 ， 字节）的主存。每个核心是双线程，因此这个操作系统相当于一个32位的SMP。处理器速度是1.5G赫兹。另外，p5 575connects有两个Gigabit/s以太网接口。它也有自己的专用DS4100存储控制器。（见下面的说明DS4100） 向外扩展系统有许多不同的形状和形式，但它们一般包括多个相互关联的节点，每一个节点代表一个独立的操作系统。我们选择的BladeCenter作为我们的向外扩展平台。这是这个平台基于向外扩展方向的一个自然选择。 第一种在商业计