我读了这个question,我可以使用以下命令airflow backfill -s -1 pipeline
成功运行 DAG ,但它是手动执行。我想知道如何在特定的时间间隔内自动执行我的d ..我是新手,我仍然坚持。我也读过这个guide,但显然作者使用Celery
执行dags并且我遇到了一些问题,例如当我尝试运行airflow worker
时它说我有一个端口使用过,我可以通过降级Celery
来解决它,因为他们说here。然而,当我再次尝试再次运行时,我会遇到更多错误。
请注意,当我定义DAG
时,我试图每隔2分钟运行一次。
dag = DAG(dag_id='pipeline',
default_args=args,
schedule_interval='*/2 * * * *',
dagrun_timeout=timedelta(seconds=30))