我想在使用Apache Spark（Scala API）将DataFrame写入csv文件时从第2行编写

Question

使用类似以下内容将DataFrame写入csv文件时

df.write.format("com.databricks.spark.csv").option("header", "true").save("file.csv") 

总是从第一行写，但我想从第二行写。我怎样才能从第二行写出来？

Answer 1

您可以执行以下步骤来实现这一目标。

1. 使用df.first()获取第一行对象。
2. 使用filter方法根据此行过滤原始数据框。
3. 您可以使用代码将过滤后的数据框保存为CSV格式。

希望这有帮助！