Spark SQL在过滤期间如何处理空值？

Question

我希望以下代码输出“ b”和null，因为两者都不等于字符串“ a”。但是，火花仅输出“ b”。要在输出中包含null，我必须在过滤器中明确包含$“ word” .isNull

val df = Seq(("a"),("b"),(null)).toDF("word")
df.filter($"word".notEqual("a")).show()

输出：

+----+
|word|
+----+
|   b|
+----+

关于Spark数据帧如何处理空值，我缺少什么？