根据两个时间戳列之间的天数过滤Spark数据帧

时间:2018-07-19 14:18:26

标签: apache-spark pyspark apache-spark-sql

我当前正在尝试移植一些T-SQL查询以在Apache Spark上运行。我在镶木地板中存储了两个字段作为时间戳。但是,我想将以下SQL查询的where条件转换为Dataframe Filter API。

SELECT * FROM TABLE
WHERE datepart(D,rev_datetime_req) - datepart(D, trans_datetime_req )>1

问题是存在问题的列(rev_datetime_req,trans_datetime_req)作为时间戳存储在镶木地板中,我不知道如何使用任何spark SQL函数来实现此目的。

0 个答案:

没有答案