Spark 2.4.5 / Python
我的(过滤后的)数据如下:
+----------------+---------+--------+--------------------+
| Id| lat| lon| timestamp|
+----------------+---------+--------+--------------------+
|D84A9547FD7EB8B3|39.999999|9.888888|2017-12-13 14:12:...|
|D84A9547FD7EB8B3|38.999999|9.063843|2017-12-13 14:14:...|
|D84AD5D7FD7D478F|37.999999|9.060656|2017-12-13 14:21:...|
|D84A62B7FD7D9251|36.999999|9.060693|2017-12-13 14:21:...
我想按以下方式查询我的数据。要获得上面的结果,但只能是特定日期之后的日期。
query = spark.sql("SELECT Id, lat, lon, timestamp FROM temp WHERE lat > 0 AND timestamp > 2020-03-01 00:00:00")
“时间戳记> 2020-03-01 00:00:00”无法像这样工作。有一种简单的方法可以查询所需的内容吗?