spark-submit从本地到集群的文件传输

Question

我正在使用spark-submit集群模式将作业从本地提交到spark集群。我需要在本地计算机和spark集群之间来回传输输入文件，输出文件和作业日志文件。

使用文件传输的任何推荐方法。是否有任何未来的计划，spark将支持从群集到本地的文件传输，反之亦然。

感谢任何帮助。

感谢。

Answer 1

使用HDFS共享群集上的文件。它是Spark中使用最广泛的分布式文件系统。

您可以将文件从本地计算机上传到远程HDFS群集。