该示例如何在Oozie最佳情况下找到lib?

时间:2018-08-21 01:59:35

标签: hadoop hdfs oozie

根据Oozie的文档,我尝试在Oozie上运行一个map-reduce示例。众所周知,“ workflow.xml”(和“ coordinator.xml”)应该位于HDFS中。

然后输入命令:oozie job -oozie http://localhost:11000/oozie -config examples/apps/map-reduce/job.properties -run。而且我也知道'job.properties'应​​该在本地文件系统中。

但是有两件事使我感到困惑:

1。为什么工作流.xml中的jar或类变量来自HDFS目录Lib?

2。有一张图片显示了oozie-examples-4.3.1.jar的内容。这个jar位于HDFS中,如何导入Lib? enter image description here

原谅我可怜的英语。

1 个答案:

答案 0 :(得分:1)

突出显示的红色框是Hadoop和Java默认类路径的一部分。 YARN中作为MapReduce的一部分运行的所有Java代码都可以访问运行hadoop classpath命令时出现的软件包。顺便提一下,mapred.*类的Hadoop几乎都已弃用

可以说,这与Oozie无关,但是Oozie用Oozie ShareLib扩展了Hadoop类路径,必须使用属性文件参数显式启用该路径。

oozie.use.system.libpath=true

除了该类路径之外,Oozie还将${wf.application.path}/lib目录发送到所有正在运行的作业