使用Spark读取csv时用空格替换空行

Question

我有一个带有一些空行的csv，它们在加载后会被删除。但是，我确实需要那些空行。有没有办法用一个值替换那些空行，例如0，加载csv文件时？

这是我阅读数据的方式：

val mycsv = sparksession.read
      .format("com.databricks.spark.csv")
      .option("header", "true")
      .option("delimiter", "\t")
      .load("mycsvfile.csv")

Answer 1

有一个＆＃34; nullValue＆＃34;允许您指定要用于null的字符串的选项。每当您阅读文件时都必须添加此选项。

option("nullValue", ["0"])