在CSV文件中写入数据帧会从字符串列中删除前导空格

Question

假设我有一个csv文件：

UserName
"Ali "
"Bilal "
"Ahsan "

当我在Spark中阅读此内容时，数据是正确的。

------------
- UserName -
------------
- Ali      -
- Bilal    -
- Ahsan    -

但是当我将其写回csv文件中时，空格将被删除并且文件已输出

UserName
"Ali"
"Bilal"
"Ahsan"

任何帮助将不胜感激。谢谢

Answer 1

sql函数内置了该函数。

WHERE

Answer 2

在编写时，使用选项ignoreLeadingWhiteSpace和ignoreTrailingWhiteSpace为true。默认情况下，在spark中写入csv时为false，在读取时为true。

df.write.format("csv").option("ignoreTrailingWhiteSpace",true)..option("ignoreLeadingWhiteSpace",true).save(path)

如果解决，请接受答案。