我需要运行以下dag-
dag = DAG('dummy_for_testing',
default_args=default_args,schedule_interval=None)
t1 = BashOperator(
task_id='print_date',
bash_command='date',
dag=dag)
t2 = BashOperator(
task_id='print_host',
bash_command='hostname',
queue='druid_queue',
dag=dag)
t3 = BashOperator(
task_id='print_directory',
bash_command='pwd',
dag=dag)
t3.set_upstream(t2)
t2.set_upstream(t1)
其中t1和t3在服务器A上运行,而t2在服务器B(queue = druid_queue)上运行。我目前正在使用puckel/docker-airflow设置气流。 这些机器上当前正在运行以下服务。
服务器A
Redis
Postgres
网络服务器
花
调度器
工人
服务器B
Redis
Postgres
网络服务器
花
调度器
工人
我的问题是,我们真的在所有两个服务器上都运行了所有这些服务吗?我还确保两台机器的broker_url和result_backend相同。要使其正常工作,需要进行任何其他配置。