如何在具有null值的pyspark中写入数据帧到CSV

Question

我使用以下代码写入CSV文件。

$scope

当我执行它时，我收到以下错误：

  

java.lang.UnsupportedOperationException：CSV数据源不支持空数据类型。

有人可以帮忙吗？

Answer 1

我遇到了同样的问题（没有将该命令与 nullValue 选项一起使用），我使用 fillna 方法解决了这个问题。

而且我还意识到fillna 不适用于_corrupt_record，所以我放弃了，因为我不需要它。

df = df.drop('_corrupt_record')
df = df.fillna("")
df.write.option('header', 'true').format('csv').save('file_csv')