PySpark-从集合传递到RDD

Question

我进行了以下转换：

rdd1.map(lambda line: line[3]).countByValue()

我该如何存储以便将结果保存为TextFile？

因为我尝试使用：

rdd1.map(lambda line: line[3]).countByValue().saveAsTextFile("directory.txt")

但是，saveAsTextFile不是集合的一部分。我该怎么办？

Answer 1

countByValue（）将结果转换为Map集合而不是RDD。

saveAsTextFile（）被定义为在RDD上运行，而不是在地图/集合上工作。

与scala（countByKey）类似的问题是here

您需要并行化地图并创建RDD，然后另存为文本文件