文件作为命令行参数在Oozie工作流程中触发操作

Question

如何在Oozie工作流程中将文件作为命令行参数传递给Spark作业？我的Spark工作期望将文件作为命令行参数，但是当我在工作流中将该文件作为/ file / location传递时，它没有选择该文件。

Answer 1

如果将文件放在ozzie共享库的自定义目录中，并且对job.properties进行一些其他更改，则可以得到一种解决方法

  

  
• oozie.use.system.libpath = true
  
• oozie.action.sharelib.for.spark = spark，自定义目录
  
• oozie.libpath = true
  

然后，我们需要使用以下命令更新共享库：

  

oozie admin -auth SIMPLE -sharelibupdate

此后，我们只需使用我们在oozie工作流程中位于自定义目录中的文件名，即可直接提取该文件。