过滤spark scala的dataframe列中的NULL值

时间:2018-05-23 01:19:15

标签: scala apache-spark

我有一个数据框(df),其中包含以下内容:

+---------+--------------------+
|  col1|        col2           |
+---------+--------------------+
|colvalue1|                NULL|   
|colvalue2|col2value...        |
+------------+-----------------+

我正在尝试根据col2过滤行,如下所示

df.filter(($"col2".isNotNULL) || ($"col2" !== "NULL")  || ($"col2" !== "null")  || ($"col2".trim !== "NULL"))

但是有NULL的行没有过滤。此列显示nullable=true

谁能让我知道我在做什么错?我正在使用Spark 1.6。

0 个答案:

没有答案