如果我有自己的自定义Hadoop FileSystem(可用于Yarn容器进行本地化)(即前缀coolfs://
),我可以使用--jars
将具有该前缀的URI提交到spark-submit
吗?>
文档建议可接受的前缀存在有限的子集,但是在Yarn上以集群模式运行spark时,是否有任何映射到Yarn可以从其本地化的活动文件系统的前缀?
https://spark.apache.org/docs/latest/submitting-applications.html#advanced-dependency-management