Question

我是Airflow和GCP的新手。

我正在使用带有气流的GCP作曲器。我有一个带有150个vCPU的kubernetes集群。我有一个DAG，其中包含100个任务，这些任务将从GCP存储桶中读取一些文件。我希望可以在140个vCPU上分配140个任务，但实际上，某些vCPU承担1个以上的任务。我该怎么做才能让气流更均匀地分配任务？

我尝试编辑airflow.cfg。我将worker_concurrency更改为1，但似乎没有用。以下是我的dag和airflow.cfg的示例

nodes = 140
for i in range(nodes):

    process_bash = bash_operator.BashOperator(
        task_id='140_batch_' + str(i+1),
        bash_command='python /home/airflow/gcs/data/... xxx.py)



[core]
parallelism = 300
dag_concurrency = 150
max_active_runs_per_dag = 150

[celery]
celery_app_name = airflow.executors.celery_executor
worker_concurrency = 1

如何为一名气流工人分配一项任务？

0 个答案: