Pyspark dataframe.write.csv使用管道作为分隔符导致输出文件中出现奇怪的字符

Question

我有一个包含两列的数据框。两者都是字符串类型。

当我尝试将数据框保存为csv pipe作为分隔符时，使用以下代码：

df.write.csv("/outputpath/",sep="|")

输出文件包含奇怪的字符。

请参阅随附的屏幕截图。

如果我改用tab作为分隔符sep="\t"，一切看起来都不错。

只是想知道是否有人知道这里会出现什么问题？

我正在使用

Spark 2.2.0 with Python 3.4