Question

我有一个数据框的data_date如下所示的情况

    root
     |-- data_date: timestamp (nullable = true)

    +-------------------+
    |          data_date|
    +-------------------+
    |2009-10-19 00:00:00|
    |2004-02-24 00:00:00|
    +-------------------+

我需要过滤两个日期之间的数据，即“ 2017年1月1日”和“ 2017年12月31日”之间的data_date

我尝试了很多类似的方式

df.where(col("data_date") >= "2017-01-01" )     
df.filter(col("data_date").gt("2017-01-01"))   
df.filter(col("data_date").gt(lit("2017-01-01"))).filter(col("data_date").lt("2017-12-31")

但没有任何效果。

我遇到以下错误：

java.lang.AssertionError: assertion failed: unsafe symbol Unstable (child of <none>) in runtime reflection universe
    at scala.reflect.internal.Symbols$Symbol.<init>(Symbols.scala:205)
    at scala.reflect.internal.Symbols$TypeSymbol.<init>(Symbols.scala:3030)
    at scala.reflect.internal.Symbols$ClassSymbol.<init>(Symbols.scala:3222)
    at scala.reflect.internal.Symbols$StubClassSymbol.<init>(Symbols.scala:3522)
    at scala.reflect.internal.Symbols$class.newStubSymbol(Symbols.scala:191)
    at scala.reflect.internal.SymbolTable.newStubSymbol(SymbolTable.scala:16)\

我该如何解决？

Answer 1

您需要将文字值转换为“日期”数据类型。 BTW ..输入不在您指定的条件之间。检查一下：

scala> val df = Seq(("2009-10-19 00:00:00"),("2004-02-24 00:00:00")).toDF("data_date").select('data_date.cast("timestamp"))
df: org.apache.spark.sql.DataFrame = [data_date: timestamp]

scala> df.printSchema
root
 |-- data_date: timestamp (nullable = true)


scala> df.withColumn("greater",'data_date.gt(lit("2017-01-01").cast("date"))).withColumn("lesser",'data_date.lt(lit("2017-12-31").cast("date"))).show

+-------------------+-------+------+
|          data_date|greater|lesser|
+-------------------+-------+------+
|2009-10-19 00:00:00|  false|  true|
|2004-02-24 00:00:00|  false|  true|
+-------------------+-------+------+

scala>

如果我按如下所示更改输入，则过滤器将起作用。

val df = Seq(("2017-10-19 00:00:00"),("2017-02-24 00:00:00")).toDF("data_date").select('data_date.cast("timestamp"))
val df2= df.withColumn("greater",'data_date.gt(lit("2017-01-01").cast("date"))).withColumn("lesser",'data_date.lt(lit("2017-12-31").cast("date")))
df2.filter("greater and lesser ").show(false)

+-------------------+-------+------+
|data_date          |greater|lesser|
+-------------------+-------+------+
|2017-10-19 00:00:00|true   |true  |
|2017-02-24 00:00:00|true   |true  |
+-------------------+-------+------+

如何使用两个日期过滤数据框？

1 个答案: