Apache Spark读取UTF-16 CSV文件

Question

我正在尝试读取以UTF-16编码的CSV文件。

val test = spark.read
.format("com.databricks.spark.csv")
.option("header", "true")
.option("inferSchema", "true")
.option("delimiter",";")
.option("dateFormat", "yyyy-MM-dd HH:mm:ss.SSS")
.option("encoding", "UTF-16")
.option("charset", "ISO-8859-1")
.load("...")

结果我得到额外的一行：

Spark有可能只能使用UTF-8编码吗？或者还有其他方法可以将UTF-16 CSV读入数据帧吗？