标签: apache-spark spark-dataframe
我试图通过仅保留那些具有特定字符串列非空的行来过滤DataFrame。
操作如下:
df.filter($"stringColumn" !== "")
我的编译器显示,自从我转移到Spark 2.0.1
如何在Spark>中检查字符串列值是否为空2.0
答案 0 :(得分:28)
使用=!=替代:
=!=
df.filter($"stringColumn" =!= "")