scala按列显示过滤

Question

我在许多文件中都有很多json字符串行，它们在模式上非常相似，但在某些情况下有一些不同。

我从他们那里创建了一个DataFrame，并希望只查看具有特定列的行，如

DF.filter("myColumn" is present).show

我该怎么做？

Answer 1

您可以在isNotNull

中使用filter()

import org.apache.spark.sql.functions.isNotNull

df.filter($"myColumn".isNotNull)