Spark SQL(PySpark)-按时间戳过滤

时间:2020-05-23 15:47:14

标签: pyspark sql-timestamp

Spark 2.4.5 / Python

我的(过滤后的)数据如下:

+----------------+---------+--------+--------------------+
|              Id|      lat|     lon|           timestamp|
+----------------+---------+--------+--------------------+
|D84A9547FD7EB8B3|39.999999|9.888888|2017-12-13 14:12:...|
|D84A9547FD7EB8B3|38.999999|9.063843|2017-12-13 14:14:...|
|D84AD5D7FD7D478F|37.999999|9.060656|2017-12-13 14:21:...|
|D84A62B7FD7D9251|36.999999|9.060693|2017-12-13 14:21:...

我想按以下方式查询我的数据。要获得上面的结果,但只能是特定日期之后的日期。

query = spark.sql("SELECT Id, lat, lon, timestamp FROM temp WHERE lat > 0 AND timestamp > 2020-03-01 00:00:00")

“时间戳记> 2020-03-01 00:00:00”无法像这样工作。有一种简单的方法可以查询所需的内容吗?

0 个答案:

没有答案