在TXT文件中写入RDD

Question

我有以下类型的数据：

new myTriangle

我想将这些数据写入txt文件中以获得类似

的内容

  `org.apache.spark.rdd.RDD[org.apache.spark.rdd.RDD[((String, String),Int)]] = MapPartitionsRDD[29] at map at <console>:38`

我将数据存储在名为((like,chicken),2) ((like,dog),3) etc.

的变量中

但是目前我尝试了这个：

res

但它似乎不起作用......

Answer 1

如果我的假设是正确的，那么您认为输出应该是单个.txt文件，如果它是set-data-status(status="safe") d到一个工作者。这不是Spark的构建方式。它适用于分布式工作，不应尝试将其用于不分配输出的形式。您应该使用更通用的命令行工具。

所有这一切，你应该看到一个名为coalesce的文件夹，其中包含具有预期输出的数据文件。