无法使用where子句过滤实木复合地板文件。...错误“不安全符号不稳定”

时间:2018-11-27 10:32:26

标签: apache-spark parquet databricks parquet-mr

我无法提供镶木地板文件。

我有字符串为“ family_id”和日期类型为“ lastStagedTs”的数据框。即格式为2018-11-30。

我正在尝试过滤实木复合地板文件,如下所示,即选择大于2018-11-23的数据

  val lastRun:String = "2018-11-23"  
  val parquetDf = sparkSession.read.format("parquet")
                                .load(parquetFile) 
                                .select("family_id", "lastStagedTs")
                                .where($"lastStagedTs" > lastRun)   

当我在代码行上方运行时,出现以下错误:

unsafe symbol Unstable (child of <none>) in runtime reflection universe
    at scala.reflect.internal.Symbols$Symbol.<init>(Symbols.scala:205)
    at scala.reflect.internal.Symbols$TypeSymbol.<init>(Symbols.scala:3030)

0 个答案:

没有答案