空指针异常/ Spark中嵌套Dataframe的无效树

Question

我有一个从Sparksql创建的Dataframe，如下所示：

val pastAsset = data.filter(data("assetId") === asset.get(0).toString)

我知道此查询至少返回了1行。但是，当我尝试在foreach语句中引用值pastAsset时，

pastAsset.filter(data("timestamp") === timeToCompare).
      foreach{ row =>
          println(s"WORKING ON ROW $row ")
        println(s"PAST ASSETS : ${pastAsset}")
    }

如果我对pastAsset值执行count（），并且打印出pastAsset值，我会得到一个NPE：

PAST ASSETS : Invalid tree; null:
null

我已经尝试缓存pastAsset值并持久化，但我仍然遇到同样的问题。任何想法为什么会发生这种情况以及如何解决这个问题？

谢谢！