Mapreduce作业配置文件位置

时间:2015-12-28 06:25:05

标签: java hadoop mapreduce configuration-files yarn

我在哪里可以找到已经运行的java mapreduce作业的作业配置文件,例如被覆盖的默认设置和其他作业特定设置。我正在使用hadoop 2.6.0。我假设将为每个使用其用户设置运行的作业提供作业配置文件。很抱歉,如果重复此问题,则无法找到确切的答案。在我的yarn-site.xml或mapred-site.xml中没有与此相关的内容。

1 个答案:

答案 0 :(得分:1)

mapred-site.xml中,有配置参数:yarn.app.mapreduce.am.staging-dir

此参数的说明是:

  

提交作业时使用的登台目录。

默认情况下,设置为:

/tmp/hadoop-yarn/staging    

此路径转换为:

{Value of config parameter `yarn.app.mapreduce.am.staging-dir`} + Path.SEPARATOR + user + Path.SEPARATOR + STAGING_CONSTANT

例如在我的mapred-site.xml中,此值设置为:

<property>
    <name>yarn.app.mapreduce.am.staging-dir</name>
    <value>/user</value>
 </property>

所以这条路径转换成:

/user/{user}/{STAGING_CONSTANT}

是:

/user/mballur/.staging/ => Where user -> mballur and STAGING_CONSTANT -> .staging

在此文件夹中,您将看到与工作相关的设置,当您的工作正在运行

例如如果我的应用程序ID是:application_1450100618247_0018,那么暂存文件夹将是:

/user/mballur/.staging/job_1450100618247_0018/

在此文件夹中,您可以看到以下文件:

job.jar
job.split
job.xml
job_1450100618247_0018_1.jhist
job_1450100618247_0018_1_conf.xml

此处job.xml包含有关您的工作的配置信息。 但是,当作业完成(成功或失败)时,作业的登台目录将被删除。

Job History Rest API

如果您已启用历史记录服务器,则可以查看到目前为止执行的所有作业的历史记录。对于例如点击此处的链接:https://hadoop.apache.org/docs/r2.4.1/hadoop-yarn/hadoop-yarn-site/HistoryServerRest.html#Job_Conf_API

使用以下REST查询,您可以获得作业的配置:

GET http://<history server http address:port>/ws/v1/history/mapreduce/jobs/{job_id}/conf