SparkR删除多行标题

时间:2016-03-15 18:49:57

标签: r csv apache-spark header sparkr

如何删除SparkR读入的CSV文件的前n行(标题)。我知道在Scala中有些事情是可能的,例如How do I convert csv file to rddhttp://qnalist.com/questions/4849107/skip-lines-in-spark,但很难将它应用于SparkR。

1 个答案:

答案 0 :(得分:0)

我会尝试使用这样的东西:

my_id <- createDataFrame(sqlContext, data.frame(my_id = 1:count(data)))
data.new <- merge(data, my_id)
data.filtered <- filter(data.new, data.new$my_id > 4)