在哪里放oozie.launcher。*配置?

时间:2017-03-16 07:44:26

标签: hadoop oozie

在尝试正确使用Oozie时,我最终设置了一些参数,即:

  • oozie.launcher.mapreduce.map.memory.mb
  • oozie.launcher.mapreduce.map.java.opts
  • oozie.launcher.yarn.app.mapreduce.am.resource.mb
  • oozie.launcher.mapred.job..queue.name

如果我在worfklow配置中设置它们,它们会按预期工作。

有没有办法/地方在全球范围内设置它们,即。不是按工作流程?我期待custom-oozie-site.xml是正确的地方,但显然不是(如果放在那里它们没有效果)。工作流本身是唯一可以配置它们的地方吗?

如果相关,我使用的是hdp 2.5。

1 个答案:

答案 0 :(得分:0)

在文档的Oozie参数化工作流程部分,他们说明了

  

工作流应用程序可以定义工作流作业参数的默认值。它们必须在与工作流应用程序归档捆绑在一起的config-default.xml文件中定义...工作流作业属性优先于默认值。

我见过的另一个选项是定义父工作流定义并传播到子工作流。当然,这仅适用于特定情况,并不总是一个好主意。

此外,“工作流程部署”部分中的文档说明

  

config-default.xml文件定义工作流作业参数的默认值(如果有)。此文件必须采用Hadoop配置XML格式。不支持EL表达式,并且无法在此文件中指定user.name属性。从工作流操作操作节点引用的任何其他资源(如job.xml文件)必须包含在相应的路径下,相对路径始终从工作流应用程序的根目录开始。

这是我的团队目前正在尝试修复12个不同ETL负载的问题。