Pyspark：需要显示数据框中每列的空/空值计数

Question

我有一个spark数据框，并且需要对每一列进行空值/空值的计数。我需要在输出中显示所有列。我在网上看了一下，发现了一些“ 类似问题”，但是解决方案完全让我震惊，这就是为什么我在这里发布个人帮助。

这就是我要编写代码的地方，我知道难题的这一部分。

from pyspark.sql import *

sf.isnull()

运行它后，这是我收到的 AttributeError: 'DataFrame' object has no attribute 'isnull'

错误

有趣的是，我对大熊猫进行了相同的练习，并使用了df.isna().sum()，效果很好。 pyspark我缺少什么？

Answer 1

您可以执行以下操作，只需确保df是Spark DataFrame。

INSERT