如何删除SparkR读入的CSV文件的前n行(标题)。我知道在Scala中有些事情是可能的,例如How do I convert csv file to rdd或http://qnalist.com/questions/4849107/skip-lines-in-spark,但很难将它应用于SparkR。
答案 0 :(得分:0)
我会尝试使用这样的东西:
my_id <- createDataFrame(sqlContext, data.frame(my_id = 1:count(data)))
data.new <- merge(data, my_id)
data.filtered <- filter(data.new, data.new$my_id > 4)