如何在群集模式的spark submit中找到当前的暂存目录？

Question

我使用--files传递spark submit中的本地文件，现在我想将文件从暂存目录下载到本地工作节点。 但是如何在java代码中获取staging目录的路径。

Answer 1

使用--files传递的文件会自动上传到所有工作节点。您可以通过代码访问它们 SparkFiles.get()

您可以通过SparkFiles.getRootDirectory()

获取Spark worker上存放这些文件的目录

另见https://stackoverflow.com/a/41678839/7417402