如何读取数据中包含双引号和逗号的CSV文件,使用databricks中的spark数据框

时间:2019-03-22 16:35:00

标签: pyspark apache-spark-sql azure-databricks

我正在尝试使用databrick中的spark数据帧读取csv文件。 csv文件包含双引号,并用逗号分隔列。我尝试使用以下代码,但无法读取csv文件。但是,如果我在datalake中检查文件,则可以看到该文件。

输入和输出如下

df = spark.read.format("com.databricks.spark.csv")\
     .option("header","true")\
     .option("quoteAll","true")\
     .option("escape",'"')\
     .csv("mnt/A/B/test1.csv")

输入文件的数据:标题:

"A","B","C"
"123","dss","csc"
"124","sfs","dgs"

输出:

"A"|"B"|"C"|

0 个答案:

没有答案