如何在scala中使用rdd删除csv文件的元素？

Question

如何在Scala中使用RDD删除CSV文件的元素？

val textRDD = sc.textFile("file:/home/bharathi/bhaskar/sample.tab")

我有sample.tab这样的值

A   B   C   D
1   2   3   4
5   6   7   8
9   10  11  12

我必须删除第二行并显示输出

Answer 1

假设您的第二行是5 6 7 8，并且您的行之间没有任何空白行。您可以使用zipWithIndex为每行分配索引，然后根据索引过滤掉您不想要的行。

textRDD.zipWithIndex.filter(_._2 != 2).map(_._1).foreach(println)

会打印

A B C D
1 2 3 4
9 10 11 12