Spark 2.0,DataFrame,过滤字符串列,不等运算符(!==)已弃用

时间:2016-10-20 12:12:35

标签: apache-spark spark-dataframe

我试图通过仅保留那些具有特定字符串列非空的行来过滤DataFrame。

操作如下:

df.filter($"stringColumn" !== "")

我的编译器显示,自从我转移到Spark 2.0.1

后,不推荐使用!==

如何在Spark>中检查字符串列值是否为空2.0

1 个答案:

答案 0 :(得分:28)

使用=!=替代:

df.filter($"stringColumn" =!= "")