覆盖默认的jvm重用值

Question

我们在hadoop的mapred-site.xml中将mapred.job.reuse.jvm.num.tasks设置为-1（即在没有限制的情况下重新使用jvm）。但是我想在我的一个mapred作业中覆盖这个属性。是否可以仅为一个作业将此值覆盖为1。

Answer 1

您可以覆盖相应configuration.xml文件中未标记为final的任何属性。要做到这一点

1. 将命令行参数传递给-D property_name=value。

2. 或者通过

   配置mapred作业

   Configuration.set（“property_name”，“value”）;

Answer 2

您可以使用 public void setNumTasksToExecutePerJvm（int numTasks）。它允许我们设置生成的任务JVM在退出之前应该运行的任务数