以编程方式设置hadoop作业配置

时间:2012-10-10 18:03:36

标签: configuration hadoop mapreduce

我正在为减少孩子获得OOM异常(Java堆空间)。我在文档中读到,将mapred.reduce.child.java.opts的值增加到-Xmx512M或更高会有所帮助。由于我不是管理员,因此我无法在mapred-site.xml中更改该值。我想通过java程序为我的工作设置该值。我尝试使用Configuration类进行如下设置,但这不起作用。

Configuration config = new Configuration(); config.set("mapred.reduce.child.java.opts", "-Xmx512M"); JobConf conf1 = new JobConf(config, this.getClass());

Hadoop的版本是1.0.3

以编程方式设置配置值的正确方法是什么?

1 个答案:

答案 0 :(得分:0)

<@> AS @ThomasJungblut和@octo指出,我在问题中提到的程序是正确的方法。 OOM异常仍然存在,所以我会开始一个新的线程,而不是继续在这里。