如何将文件夹从主节点传递到工作节点？

Question

如何在Spark中将完整的文件夹从主节点传递到工作节点？

我在一个独立集群中使用一个主节点和一个工作节点。

sc.addFile()将文件从master传递到worker，但我想传递一个文件夹。

感谢您的帮助。

Answer 1

还有另一种方法：

  

public void addFile（字符串路径，                      布尔递归）

     

递归-如果为true，则可以在path中指定目录。当前，目录仅受Hadoop支持的文件系统支持。