删除rdd中的空白行

时间:2016-10-30 14:47:13

标签: apache-spark rdd

我是一个要点火的新手。我有一个看起来像这样的RDD

12434|arizona|2016-10-11|000
56783|california|2016-10-12|111

23456|Texas|2016-10-11|234

我正在尝试删除第2行和第3行之间的空白行。我试过val rdd2=rdd1.filter(x=>x!='\n')但没有工作。任何有关如何解决此问题的建议都会有所帮助

1 个答案:

答案 0 :(得分:2)

尝试:

rdd1.filter(x => !x.isEmpty)