Hadoop Mapreduce配置(新API)

时间:2012-11-04 13:43:07

标签: api configuration hadoop

我只是想尝试一个教程(https://ccp.cloudera.com/display/DOC/Hadoop+Tutorial)程序WordCount V.2(页面底部),他们在其中使用以下方法来设置编程的一些基本变量:

public void configure(JobConf job) {
...
}

但是我正在尝试使用新的Hadoop API,这种方法似乎不再存在了?谁能告诉我在新API中做同样事情的等效方法是什么?

另外如何在运行时访问我的配置?我只需致电:

Job.getConfiguration();

1 个答案:

答案 0 :(得分:2)

您可以覆盖Mapper / Reducer中的设置方法,其行为类似于configure

签名如下:

 @Override
 protected void setup(Context context) throws IOException,
       InterruptedException {

你得到一个Context对象,你可以在这里打电话:

Configuration conf = context.getConfiguration();

mapcleanup都有这些上下文对象,因此您可以随时获取Configuration