Spark和远程属性文件

Question

我尝试推出一款发射火花的oozie。我需要指定一个属性文件。但是这个属性文件必须在hdfs上

spark-submit --properties-files hdfs：/user/lele/app.properties ....

不起作用。 您有任何想法来解决此问题。感谢

Answer 1

直接从Oozie documentation for Spark extension

  

Spark Action Schema Version 0.2
...
＆lt; xs：element name = “file” type =“xs：string”   minOccurs =“0”maxOccurs =“unbounded”/＆gt;

（看起来它在V0.1中被遗忘了？！？这是一个大错......）

在Oozie documentation for core Oozie Workflow features

中

  

file，archive元素可用于映射减少作业，   文件和档案...用file元素指定的文件将会   是任务主目录中的符号链接。
请参阅   Hadoop分发缓存文档以获取更多详细信息   档案和档案。

不幸的是，这只是噪音，并没有解释file实际上做了什么：将HDFS文件下载到运行Oozie操作的YARN容器中，并使其可用现任工作目录 在选项中，您可以重命名文件，例如<file>/user/dummy/wtf.conf.V5.2.0#wtf.conf</file>将在HDFS上获取特定版本，并以通用名称将其提供给作业。

<小时/> <小时/> 推荐阅读： Hooked on Hadoop tutorial series about Oozie。现在有点陈旧，但仍然是Oozie在实践中可以做的最好的概述。