如何改变每份工作的io.sort.mb？

Question

我想知道我是否可以更改每份工作的io.sort.mb值？我知道你可以在mapred-site.xml中为参数设置一个值，但我想以编程方式在不同的作业中使用不同的值。我尝试过conf.setInt（“io.sort.mb”，someValue），但它似乎不起作用。 JVM设置有足够的内存（如2.25GB），并且没有其他作业在运行。

Answer 1

当然，在提交之前，只需在Configuration（早期版本中为JobConf）中进行设置即可。它确实有效;我在Mahout用过它。确保在设置值之后和提交之前将conf设置到Job。确保您正在设置正确的conf！也许你可以说你怎么知道它不起作用。