我有像下面的dag配置
args = {
'owner': 'XXX',
'depends_on_past': False,
'start_date': datetime(2018, 2, 26),
'email': ['sample@sample.com'],
'email_on_failure': False,
'retries': 1,
'retry_delay': timedelta(minutes=5)
}
dag = DAG(dag_id='Daily_Report',
default_args=args,
schedule_interval='0 11 * * *',
dagrun_timeout=timedelta(seconds=30))
我有一个bash运算符和一个数据块运算符
run_this = BashOperator(task_id='run_report',
bash_command=templated_command,
dag=dag)
notebook_run = DatabricksSubmitRunOperator(
task_id='notebook_run',
notebook_task=notebook_task,
existing_cluster_id='xxxx',
dag=dag)
我正在运行此类似run_this.set_downstream(notebook_run)
bash运算符运行正常,但数据块运算符不运行它只是留下一个空白状态,如下面
空白状态气流
我错过了什么?我在这里使用Databricks的Airflow版本https://github.com/databricks/incubator-airflow