在YARN“ user.dir”上触发

Question

我有一个外部API jar，它正在以下环境路径下寻找依赖项

  

user.dir

，通过将依赖项放在调用目录中，我们可以在Spark Shell本地模式下使用api。 我的问题是，当我将作业提交到YARN集群时，尽管我已将依赖项放在HDFS中的路径

上，但我无法使用API​​及其无法解决其运行时依赖项

  

/用户/用户名/

在这里我在做什么错，有没有一种方法可以自定义user.dir，以防出现火花提交作业。 ？

Answer 1

只需将它放在这里，以防可能卡住的人 Spark Driver处理在不同节点上执行的衍生执行器，在生成执行器之前，没有确定一致的方法来知道路径。 因此，我最好将工件作为Jar本身的一部分或依赖项进行捆绑。