纱线自定义文件系统上的火花提交群集模式

时间:2019-11-02 02:58:28

标签: apache-spark hadoop yarn spark-submit

如果我有自己的自定义Hadoop FileSystem(可用于Yarn容器进行本地化)(即前缀coolfs://),我可以使用--jars将具有该前缀的URI提交到spark-submit吗?

文档建议可接受的前缀存在有限的子集,但是在Yarn上以集群模式运行spark时,是否有任何映射到Yarn可以从其本地化的活动文件系统的前缀?

https://spark.apache.org/docs/latest/submitting-applications.html#advanced-dependency-management

0 个答案:

没有答案