Question

我正在寻找hadoop集群的系统测试框架。支持的用例应包括HDFS的系统测试，map reduce作业和hive查询。我发现了一个名为herriot的apache，但我不确定它是否还在维护中。你们是否知道任何现有的框架？

Answer 1

查看1和2以对群集进行基准测试。它已经获得了测试的代码和数据。自动化它们不应该是一项任务。

Answer 2

请查看HadoopTest，Hadoop的可靠性测试框架

Answer 3

Hadoop已经拥有基准并保存在test.jar和example.jars中你刚刚发现并自动化了。来自O'reilly和其他书籍

  % hadoop jar $HADOOP/hadoop-*-test.jar

对于DFSIO测试：TestDFSIO测试HDFS的I / O性能。

它通过使用MapReduce作业作为一种方便的阅读方式来实现   并行写文件

 % hadoop jar $HADOOP/hadoop-*-test.jar TestDFSIO

 command: TestFDSIO -read | -write | -clean [-nrFiles N] [-fileSize MB]
 [-resFile resultFileName] [-bufferSize Bytes] 

 ex1: % hadoop jar $HADOOP/hadoop-*-test.jar TestDFSIO -write -nrFiles
         10 -fileSize 10000 
 ex2: % hadoop jar $HADOOP/hadoop-*-test.jar TestDFSIO -read -nrFiles 10 -fileSize 10000

用于测试map reduce

   ex3: % hadoop jar  $HADOOP/hadoop-*-examples.jar randomwriter random-data

   ex4: % hadoop jar` $HADOOP/hadoop-*-examples.jar sort random-data sorted-data

其中$ HADOOP =这些罐子保存的hadoop安装的路径

hadoop集群的系统测试自动化框架

3 个答案: