Hadoop:是否可以将TestDFSIO基准测试作为非hdfs用户运行

时间:2015-06-23 07:33:14

标签: hadoop benchmarking

是否可以将TestDFSIO基准测试作为非hdfs用户执行?此基准测试试图创建/ benchmarks目录,但由于缺少权限而失败。有没有办法让这个基准测试使用我的hdfs home存储数据?

1 个答案:

答案 0 :(得分:1)

应该可以通过设置配置参数" test.build.data",默认为" / benchmarks / TestDFSIO"。

(见:https://github.com/apache/hadoop/blob/release-2.6.0/hadoop-mapreduce-project/hadoop-mapreduce-client/hadoop-mapreduce-client-jobclient/src/test/java/org/apache/hadoop/fs/TestDFSIO.java#L178

看起来TestDFSIO会为其配置查询4个配置文件,所以希望将参数放入其中任何一个都可以解决问题:

hdfs-default.xml,hdfs-site.xml,mapred-default.xml,mapred-site.xml

(见https://github.com/apache/hadoop/blob/release-2.6.0/hadoop-mapreduce-project/hadoop-mapreduce-client/hadoop-mapreduce-client-jobclient/src/test/java/org/apache/hadoop/fs/TestDFSIO.java#L111-L114