多节点Hadoop集群中的HDFS压力测试

Question

我已经建立了一个多节点Hadoop集群。我打算在不使用MR的情况下测试HDFS的性能。在Hadoop测试罐中有这样的基准吗？

由于

Answer 1

<强> TestDFSIO：

1. 默认输出目录是/ benchmarks / TestDFSIO
2. 在读取测试之前运行写入测试

运行写入测试的语法如下：

TestDFSIO.0.0.4
Usage: hadoop jar $HADOOP_HOME/hadoop-*test*.jar TestDFSIO -read | -write | -clean [-nrFiles N] [-fileSize MB] [-resFile resultFileName] [-bufferSize Bytes]

例如：运行写入测试的命令，生成10个大小为1GB的输出文件，总共10GB：

$ hadoop jar hadoop-*test*.jar TestDFSIO -write -nrFiles 10 -fileSize 1000

类似地，使用10个大小为1GB的输入文件进行读取测试：

$ hadoop jar hadoop-*test*.jar TestDFSIO -read -nrFiles 10 -fileSize 1000

使用以下内容清理和删除测试数据：$ hadoop jar hadoop-*test*.jar TestDFSIO -clean

解释TestDFSIO结果：

样品：

----- TestDFSIO ----- : write
           Date & time: Fri Apr 08 2011
       Number of files: 1000
Total MBytes processed: 1000000
     Throughput mb/sec: 4.989
Average IO rate mb/sec: 5.185
 IO rate std deviation: 0.960
    Test exec time sec: 1113.53

----- TestDFSIO ----- : read
           Date & time: Fri Apr 08 2011
       Number of files: 1000
Total MBytes processed: 1000000
     Throughput mb/sec: 11.349
Average IO rate mb/sec: 22.341
 IO rate std deviation: 119.231
    Test exec time sec: 544.842

此处最值得注意的指标是 吞吐量mb / sec 和 平均IO速率mb / sec 。< / p>





Source