读取CSV文件-火花

Question

使用以下命令读取CSV文件。

spark.read.option("multiLine","true").option("delimiter",'^').option("escape", "}").csv("/file.csv").show(20,False)

源数据

“ 1”，“ manas” madul“

“ 2”，“ kat Nyshi”

目标数据

1，“ manas” madul”

2，Kat Nyshi

预期数据

1，manas“ madul

2，Kat Nyshi

在第一个记录中CSV没有删除目标数据中的双引号，我认为是由于源数据中可用双引号而引起的。需要的数据如预期数据中所述