Hadoop基准测试/性能测试

时间:2014-06-10 07:42:37

标签: hadoop benchmarking performance-testing

我想在我的Hadoop集群上执行基准测试和性能测试。 我知道hadoop-mapreduce * test * .jar和hadoop-mapreduce-examples * .jar有许多用于基准测试的程序。

是否有可用于这些测试的文件,其中提供了每种测试和性能测量的详细信息? 此外,在执行任何测试后,是否有可用于比较结果的值?

感谢。

1 个答案:

答案 0 :(得分:9)

你有HiBench,它包含一些用于基准测试hdfs,hive的工具......你可以在这里找到它:https://github.com/intel-hadoop/HiBench

伯克利大学用hive,impala数据集创建了一个基准...你可以在这里参考:https://amplab.cs.berkeley.edu/benchmark/

Terasort也是一个着名的基准。它包含3个生成数据的程序,并使用MapReduce来测试您的集群。更多信息请访问:http://hadoop.apache.org/docs/current/api/org/apache/hadoop/examples/terasort/package-summary.html