如何获得上一份工作的结束时间

时间:2018-10-11 13:39:10

标签: airflow google-cloud-composer

我有一个计划每隔几分钟执行的任务。

我想在新任务从上一个成功执行的任务停下来的地方开始执行逻辑。

更具体地讲,我使用这个时间间隔来查询数据库,所以在执行之间我不会错过一些数据。

如何实现?

1 个答案:

答案 0 :(得分:0)

看看documentation around macros。您会看到在sql文件中可以使用两个变量:{{ execution_date }}{{ next_execution_date }}-您应该使用它们来查询数据库的时间间隔,例如:

select * 
from 
  table
where
  timestamp_column >= {{ execution_date }} 
  and timestamp_column < {{ next_execution_date }}