不在JobConf中设置Hadoop作业名称

Question

我正在编写一个小型Web界面，允许用户提交YARN作业。我想让他们为自己的工作命名，以便以后观察他们的进展。

使用过的jar总是一样的，它只会对不同的输入数据进行操作。目前我在run（）方法中将作业名称设置为常量值。

我正在寻找的是hadoop jar myjar.jar --jobName=MyJob *myParameters

这可能吗？

Answer 1

你试过简单的

吗？

-Dmapred.job.name=your_job_name

命令行选项？

当然，这意味着您使用ToolRunner，因此您的主要功能如下：

public static void main(String[] args) throws Exception {
    int exitCode = ToolRunner.run(new Driver(), args);
    System.exit(exitCode);
}

并添加类似内容：

Configuration conf = getConf();
Job job = new Job(conf, conf.get("job.name"));

在跑步功能中创建作业

Answer 2

如果您使用mrv2并创建了作业，则可以使用setJobName（）

Job job = Job.getInstance(configuration);
job.setJobName("the job name");

Answer 3

ex with sqoop sanitize(url: string) { return this.sanitizer.bypassSecurityTrustUrl(url); }