使用属性文件运行Spark作业

时间:2016-11-09 11:09:26

标签: hadoop apache-spark oozie properties-file

作为堆栈Hadoop的初学者,我想通过Oozie使用spark-submit运行我的Spark工作。有一个包含src编译项目文件的jar,我还有一组属性文件(大约20个)。我想要的是,在运行我的spark Job时,我们可以从包含我的Spark Job编译jar的文件夹旁边的不同文件夹中加载这些属性文件。我试过了:

  • 在oozie的职业生涯中,我补充道: oozie.libpath = [包含我所有属性文件的文件夹的路径] 和oozie.use.system.libpath = true。
  • 在spark-submit命令中,我添加了--files或--properties-file但它没有工作(它不接受该文件夹)

感谢您提出任何建议,如果我的问题不明确,请随时提出更多建议。

0 个答案:

没有答案