如何自动运行DAG

时间:2017-06-12 15:27:45

标签: python celery apache-airflow

我读了这个question,我可以使用以下命令airflow backfill -s -1 pipeline成功运行 DAG ,但它是手动执行。我想知道如何在特定的时间间隔内自动执行我的d ..我是新手,我仍然坚持。我也读过这个guide,但显然作者使用Celery执行dags并且我遇到了一些问题,例如当我尝试运行airflow worker时它说我有一个端口使用过,我可以通过降级Celery来解决它,因为他们说here。然而,当我再次尝试再次运行时,我会遇到更多错误。

请注意,当我定义DAG时,我试图每隔2分钟运行一次。

dag = DAG(dag_id='pipeline',
          default_args=args,
          schedule_interval='*/2 * * * *',
          dagrun_timeout=timedelta(seconds=30))

0 个答案:

没有答案