如何在Master上存储文本文件?

时间:2016-03-24 10:21:27

标签: scala apache-spark apache-spark-mllib

我正在使用独立群集来运行ALS算法。预测将使用以下方式存储到文本文件中:

saveAsTextFile(path)

但是文本文件存储在群集上。我想将文本文件存储在Master上。

1 个答案:

答案 0 :(得分:1)

这是预期的行为。 path已在机器上解析了 执行,奴隶。我建议使用群集FS (例如HDFS)或.collect()您的数据,以便您可以在本地保存它们 大师。如果您的数据很大,请注意OOM。