如何打印spark rdd struct数据并保存到本地文件

Question

rdd数据是键，值格式，值是结构数据 如何打印前100个数据，并将其保存为本地文件。

它可能是用户rdd.take(10).saveAsTextFile，但会报告错误。

Answer 1

如果您使用take上的rdd作为

rdd.take(10)

它会返回Array而不是rdd而saveAsTextFile将无法使用数组。

您可以使用zipWithIndex进行过滤，并将过滤保存为

rdd.zipWithIndex().filter(_._2 < 100).map(_._1).saveAsTextFile("path to the output file")

此处_._2 < 100用于表示您要保存前100个数据