Question

我需要保持一个全天候运行的火花工作，为此我正在使用Oozie。为此，我编写了一个workflow.xml和job.properties文件，其中包含调用它的必要信息。

然而，当我尝试使用此发送oozie作业时：

oozie job –config /home/oozie/tst/job.properties -run

我收到以下错误消息，非常明确：

java.io.IOException: configuration is not specified
        at org.apache.oozie.cli.OozieCLI.getConfiguration(OozieCLI.java:816)
        at org.apache.oozie.cli.OozieCLI.jobCommand(OozieCLI.java:1055)
        at org.apache.oozie.cli.OozieCLI.processCommand(OozieCLI.java:686)
        at org.apache.oozie.cli.OozieCLI.run(OozieCLI.java:639)
        at org.apache.oozie.cli.OozieCLI.main(OozieCLI.java:225)
configuration is not specified

此处的问题是配置文件（job.properties）在指定的路径上本地存在。我还 PUT 包含HDFS中的文件和.jar的目录。

知道为什么会失败？

Oozie是我这项任务的最佳工具吗？

Answer 1

config参数采用本地路径而非HDFS。检查/home/oozie/tst/job.properties

中的job.properties

检查job.properties是否包含oozie.wf.application.path=PATH_TO_HDFS_PATH_WHERE_WORKFLOW.XML_IS_PRESENT

另外，我看到config参数中给出的短划线（ - ）与运行参数

中的短划线（ - ）不同

Answer 2

在命令中指定主机

oozie job --oozie http://your_host:11000/oozie -config /home/oozie/tst/job.properties -run

11000是deafult port

无法使用Oozie部署Spark作业

2 个答案: