Hadoop性能测试自动化研究.docVIP

Hadoop性能测试自动化研究 　　摘 要：目前，越来越多的行业认识到大数据会带来新一轮的革命，而Apache Hadoop项目则是目前大数据平台应用的事实标准。各行业在建设大数据平台时，除功能外，性能指标也是考虑的重要因素。目前大数据平台性能评测工具多样，测试过程耗时、繁琐。鉴于此，讨论建设基于BigDataBench的Hadoop2.5大数据平台性能测试自动化系统，既提高工作效率，又减少人为操作差异化化，实现版本间性能数据自动对比，保证了测试质量和数据准确性。同时对自动化测试工具的演进方向进行了规划。 　　关键词：Hadoop；大数据平台；自动化测试；性能测试 　　DOIDOI：10.11907/rjdk.162030 　　中图分类号：TP302 　　文献标识码：A文章编号：1672-7800（2016）012-0016-3 　　0 引言 　　信息爆炸时代带来了信息数量的级数级增长，各行业也越来越认识到对大数据的掌控和分析能力会是未来竞争力的核心。行业决策也超越了以前依靠抽样调查的阶段，转而依靠大数据进行全面分析支持。 　　Apache Hadoop是对Google的GFS（Google File System）BigTable的一个开源实现，具有高扩展性、高效性、高容错性、低成本以及易于虚拟化等特性，是目前行业事实的应用标准[1]。Apache Hadoop大数据生态圈核心包括HDFS、Zookeeper、Yarn、Hbase、Hive、Impala等应用。 　　除功能外大数据平台性能处理能力是评测大数据平台的重要指标之一。目前，大数据平台性能测试存在的问题主要有：开源版本更换较快，需要频繁更换版本； 测试条目较多，场景比较复杂、繁琐，手工操作容易出错或不准确； 整个测试过程持续时间长。本文基于BigDataBench工具和Apache Hadoop2.5进行大数据平台性能测试自动化研究，尝试解决上述问题。 　　1 大数据平台性能测试内容 　　经典的大数据平台组件性能测试项主要包括HDFS的读写、Mapreduce的执行情况、NoSQL的数据库能力等[2]，如表1所示。 　　以上测试项覆盖了I/O测试、I/O密集型、计算密集型及混合类型测试条目，涉及文本、图和表等输入数据。 　　2 大数据平台性能测试工具 　　在性能测试中，测试工具支持必不可少，目前除Apache Hadoop自带工具外，还有企业或组织发布了第三方测试工具。一般测试工具包括测试数据生成、负载运行和报告生成三大功能。 　　2.1 Apache Hadoop自带工具 　　Apache Hadoop自带工具主要包括TestDFSIO、Sort和PE（PerformanceEvaluation），工具简单、易用。TestDFSIO 主要用于HDFS基准性能测试，Sort工具用于Mapreduce负载，PerformanceEvaluation工具主要用于Hbase性能测试。 　　通过运行hadoop jar hadoop-test.jar即可查看所支持的测试项。 　　通过运行hbase org.apache.hadoop.hbase.PerformanceEvaluation 即可查看PE工具支持的测试项。 　　2.2 HiBench 　　HiBench是Intel发布的一个大数据性能测试套件，包括HDFS、Mapreduce、SQL、网页有哪些信誉好的足球投注网站以及机器学习等性能测试。支持的测试条目比较全面。 　　比如最常用的WordCount测试，通过以下命令即可完成测试： 　　#cd ./HiBench/wordcount 　　#./conf/configure.sh 　　#./bin/prepare.sh 　　#./bin/run.sh 　　2.3 YCSB 　　YCSB（Yahoo Cloud Serving Benchmark）是YAHOO发布的一款开源通用性能测试工具，适用于Hbase等NoSQL组件。 　　YCSB在命令行中直接可以设置线程数、读写比例等，可以提供较为详细的测试结果。 　　2.4 BigDataBench 　　BigDataBench[3]是由中科院计算所研发的一款开源性能测试套件，是国内大数据组织大数据联盟（）推荐的大数据性能测试工具。大数据联盟（DCA，Data Center Alliance）同时配套发布的还有大数据性能测试基准要求及方法[3]。 　　BigDataBench整合多种测试工具的优点，几乎覆盖所有组件，可以准备文本、图像、数据库等多种数据，实现端到端的性能测试[4]。 　　由于大数据联盟的权威性，几乎国内全部大数据厂商都遵循大数据联盟的测试工具及测试要求，并参