如何获取今天-PySpark(SQL)中的“ 6个月”日期

时间:2018-07-11 09:52:41

标签: python apache-spark filter pyspark pyspark-sql

我有每天更新的表。我使用此表进行分析。我希望有一个6个月数据的静态窗口作为分析输入。

我知道我可以在SQL中创建一个这样的过滤器,以便每次运行代码时都有6个月的数据。

date >= dateadd(mm,-6, getdate())

有人可以建议我如何在PySpark中进行相同的操作。我只能想到这一点:

raw_data_2.filter(col("date") >= date_add(current_date(), -6)))

谢谢!

1 个答案:

答案 0 :(得分:3)

Route::group(['middleware' => ['auth:admin']], function ($route) { $route->post('storePath', 'IndexController@store'); $route->put('updatePath', 'IndexController@update'); }); 将增加或减少几天,在这种情况下,请使用GET https://api.linkedin.com/v1/companies/<id>/updates?event-type=status-update&count=20&format=json

date_add