Spark：检索保存在驱动程序上的文件

Question

我在纱线群集模式中使用spark。我使用import java.io.PrintWriter在驱动程序节点上保存字符串中包含的一些结果。

HOwever，在纱线群集模式下，驱动程序是群集节点之一。而且我无法在流程结束时设法检索这些文件。我还没找到。

Answer 1

最好的解决方案是将它们保存在HDFS上。

我没试过，但你应该可以这样做：

sc.textFiles（＆＃34;文件：//名称节点：端口/路径/到/输入＆＃34）