在zip中添加h5文件以与PySpark一起使用

Question

我正在使用PySpark 1.6.1作为我的spark应用程序。我有其他模块，我使用参数--py-files加载。我还有一个h5文件，我需要从其中一个模块访问以初始化ApolloNet。

如果我将这些文件放在同一档案中，有什么方法可以从模块中访问这些文件吗？我尝试了这种方法，但它抛出了一个错误，因为每个工人都没有文件。我可以考虑将文件复制到每个工作人员，但我想知道是否有更好的方法可以做到这一点？

Answer 1

发现您可以使用spark-submit中的--files参数将其他文件添加到所有工作人员。