我正在尝试使用databrick中的spark数据帧读取csv文件。 csv文件包含双引号,并用逗号分隔列。我尝试使用以下代码,但无法读取csv文件。但是,如果我在datalake中检查文件,则可以看到该文件。
输入和输出如下
df = spark.read.format("com.databricks.spark.csv")\
.option("header","true")\
.option("quoteAll","true")\
.option("escape",'"')\
.csv("mnt/A/B/test1.csv")
输入文件的数据:标题:
"A","B","C"
"123","dss","csc"
"124","sfs","dgs"
输出:
"A"|"B"|"C"|