Pyspark的csv有很多可以传递的参数
我正在使用https://spark.apache.org/docs/latest/api/python/pyspark.sql.html?highlight=read%20csv#pyspark.sql.DataFrameReader.csv csv(我不容易重写)。它在单元格和引号中有换行符。这样,它将双引号加倍,并用双引号将单元格包裹起来。
例如
"STUV.
JQL",STUV JQL,123456,"Schools, Colleges",105,-5
应成为行
[
'STUV.\nJQL',
'STUV JQL',
'123456',
'Schools, Colleges',
'105',
'-5'
]
这适用于Python 3的“ excel”方言。
如何在Pyspark中复制此行为?