我有一个数据框(df),其中包含以下内容:
+---------+--------------------+
| col1| col2 |
+---------+--------------------+
|colvalue1| NULL|
|colvalue2|col2value... |
+------------+-----------------+
我正在尝试根据col2过滤行,如下所示
df.filter(($"col2".isNotNULL) || ($"col2" !== "NULL") || ($"col2" !== "null") || ($"col2".trim !== "NULL"))
但是有NULL的行没有过滤。此列显示nullable=true
。
谁能让我知道我在做什么错?我正在使用Spark 1.6。