在YARN中为CLI提交的作业设置applicationTags属性

Question

我想跟踪YARN中的一些相关应用程序。它们通过命令行提交，例如

yarn jar hadoop-mapreduce-examples.jar pi 10 100

Python有一个真正的easy-to-use YARN client，它返回以下内容：

finalStatus = SUCCEEDED
id = application_1458083392566_0929
state = FINISHED
name = QuasiMonteCarlo
applicationType = MAPREDUCE
user = awoolford
applicationTags = 
[...etc...]

我注意到applicationTags属性。这将是跟踪相关应用程序组的理想方式。我尝试通过HADOOP_CLIENT_OPTS进行设置，例如

HADOOP_CLIENT_OPTS="-DapplicationTags=batch123,chunk62" hadoop jar [...etc...]

...但是当我尝试通过Python客户端检索它们时，applicationTags字符串没有显示在YARN中。

问）如何提交YARN作业并从命令行填充applicationTags属性？

Answer 1

需要设置的属性称为mapreduce.job.tags（请参阅Jira）。因此，对于计算Pi MapReduce示例，您可以像这样标记作业：

yarn jar hadoop-mapreduce-examples.jar pi -Dmapreduce.job.tags=myJobTag 10 100

感谢Cloudera的Neerja Khattar，了解如何做到这一点。