将JSON文件保存到数据框时如何删除空值

时间:2020-04-07 08:22:26

标签: pyspark

我正在尝试将json文件保存到数据报中,并且我只需要在列中包含不为null的那些值。 文件中只有一列。 我试过了 .option("column", isNotNull) .filter("column" is notNul) .dropna("column") 但没有任何效果。 而且我在读取json文件时找不到有关删除null的任何文档。

有人可以帮我解决这个问题吗?谢谢!

0 个答案:

没有答案