Question

我一直在搜索mrunit文档，但到目前为止还没能找到它。我如何在我的mrunit中传递配置参数。

例如，如果我采用wordcount示例。

让我们说，在我的驱动程序代码中，我正在设置此参数......

conf.set("delimiter",args[2])

在我的映射器代码中，我将其称为：

String delimiter = conf.get("delimiter");
String [] tokens = value.toString().split(delimiter);
for (String token:tokens)
   context.write(token,one);

如何设置此配置参数。

我一直在研究这个例子： https://github.com/wpm/Hadoop-Word-Count/blob/master/src/test/java/wpmcn/hadoop/WordCountTest.java

由于

Answer 1

使用MapDriver.withConfiguration

 Configuration conf = new Configuration();
 conf.set("delimiter", someValue);
 myMapDriver.withConfiguration(conf);

Answer 2

我有类似的问题，我解决了它，如下面的代码所示。

mapDriver.withInput(key, value);
mapDriver.getConfiguration().set("my.config.param", "my.config.param.value");
.....
.....
mapDriver.run();

请注意，mapDriver.getContext（）。getConfiguration在这种情况下可能不起作用，因为上下文对象是API中的模拟对象。

在mrunit中设置配置

2 个答案: