无论如何，是否可以在Airflow中异步运行python脚本？

Question

我想在气流中运行python脚本。为了达到相同的目的，我使用如下的airflow bash运算符触发脚本。

sub_dag = BashOperator(
task_id='execute_dependent_dag',
bash_command='python myscript.py',
dag=dag,
trigger_rule="all_success")

但是我希望它被异步触发。目前，它正在等待脚本完成。我使用了＆和 nohup 使其运行，但没有用。

让我知道是否还有其他方法可以异步运行它。 预先感谢。

Answer 1

• 我相信扩展BashOperator来删除wait() call将会使这种情况发生，但缺点是错误会被悄悄地检测不到

• 或者是否可以将有问题的python 脚本/代码 import编辑到您的Airflow 项目，您可以尝试通过with PythonOperator（或多种其他方式）进行相同的multiprocessing

如果您想弄脏手，请看看this