Pyspark相当于CSV Excel方言

时间:2019-04-19 14:20:29

标签: python csv pyspark

Pyspark的csv有很多可以传递的参数

dotnet restore

我正在使用https://spark.apache.org/docs/latest/api/python/pyspark.sql.html?highlight=read%20csv#pyspark.sql.DataFrameReader.csv csv(我不容易重写)。它在单元格和引号中有换行符。这样,它将双引号加倍,并用双引号将单元格包裹起来。

例如

"STUV.
JQL",STUV JQL,123456,"Schools, Colleges",105,-5

应成为行

[
'STUV.\nJQL',
'STUV JQL',
'123456',
'Schools, Colleges',
'105',
'-5'
]

这适用于Python 3的“ excel”方言。

如何在Pyspark中复制此行为?

0 个答案:

没有答案