访问通过--files传递的文件以激活提交

Question

我正在提交一个脚本来spark-submit并使用--files属性传递一个文件。后来我需要在工作人员中阅读它。

我不明白我应该使用什么API来做到这一点。我想我会尝试：

with open('myfile'):

但这不起作用。

我可以使用addFile机制传递文件，但对我来说可能不够好。

这似乎是一个非常简单的问题，但我没有找到任何有关spark-submit的综合文档。 The docs肯定不会掩盖它。

Answer 1

嗯，这很令人尴尬。我忘了看里面spark-submit --help。 这就是它所说的：

  --files FILES               Comma-separated list of files to be placed in the working
                              directory of each executor. File paths of these files
                              in executors can be accessed via SparkFiles.get(fileName).

有时它自己的鼻子......