将RDD中的多条线组合成一条线

时间:2017-03-09 15:39:20

标签: scala apache-spark text-files rdd

我有以下情况: val rdd = sc.textFile(" textfile");

"文本文件"是一个多行文件。我需要的是将多行连接成一行,然后再以文件格式再次保存。

我对此进行了很多研究。但是,无法找到问题的解决方案。

非常感谢你的帮助

谢谢, 内甚

1 个答案:

答案 0 :(得分:2)

您可以像这样使用reduce:

rdd.reduce((a,b) = a + b)或更简洁rdd.reduce(_ + _)