气流架构可支持涉及多个服务器的dag

时间:2019-04-13 07:24:00

标签: airflow airflow-scheduler

我需要运行以下dag-

dag = DAG('dummy_for_testing', 
default_args=default_args,schedule_interval=None)

t1 = BashOperator(
    task_id='print_date',
    bash_command='date',
    dag=dag)

t2 = BashOperator(
    task_id='print_host',
    bash_command='hostname',
    queue='druid_queue',
    dag=dag)

t3 = BashOperator(
    task_id='print_directory',
    bash_command='pwd',
    dag=dag)

t3.set_upstream(t2)
t2.set_upstream(t1)

其中t1和t3在服务器A上运行,而t2在服务器B(queue = druid_queue)上运行。我目前正在使用puckel/docker-airflow设置气流。 这些机器上当前正在运行以下服务。

服务器A
Redis Postgres 网络服务器 花 调度器 工人

服务器B
Redis Postgres 网络服务器 花 调度器 工人

我的问题是,我们真的在所有两个服务器上都运行了所有这些服务吗?我还确保两台机器的broker_url和result_backend相同。要使其正常工作,需要进行任何其他配置。

0 个答案:

没有答案