Python Pyspark:使用F.current_date()过滤当前日期之前的1天

时间:2019-02-12 20:24:15

标签: python date pyspark datediff subtraction

我想过滤某个日期之前的所有日期的数据集。具体来说是当前日期的前1天。

我尝试了以下代码:

df = df.filter(F.col('date') <= F.current_date() - 1)

但是我遇到了以下错误:

u"cannot resolve '(current_date() - 1)' due to data type mismatch: differing types in '(current_date() - 1)' (date and int)

1 个答案:

答案 0 :(得分:0)

F.date_sub方法应该起作用:

df.filter(F.col('date') <= F.date_sub(F.current_date(), 1))