如何在spark 1.6版本中做BETWEEN条件

Question

我在 spark 1.6版本中尝试了between条件但是出现了错误

  

之间不是字符串的成员。

df.filter($"date".between("2015-07-05", "2015-09-02"))

Answer 1

您的df("date")是字符串类型，或者您的列日期未推断为列。 我已经复制了您的代码，它确实适用于sent列java.sql.Timestamp：

val test= bigDF.filter($"sent_at".between("2015-07-05", "2015-09-02"))

确保您的列date是有效的df列，请尝试df("date")或col("date")，并将其保存为数据时间类型ex：

case class Schema(uuid: String, sent_at: java.sql.Timestamp)

val df1 = df.as[Schema]

执行df.printSchema(）以验证日期列的类型