我是Airflow和GCP的新手。
我正在使用带有气流的GCP作曲器。我有一个带有150个vCPU的kubernetes集群。我有一个DAG,其中包含100个任务,这些任务将从GCP存储桶中读取一些文件。我希望可以在140个vCPU上分配140个任务,但实际上,某些vCPU承担1个以上的任务。我该怎么做才能让气流更均匀地分配任务?
我尝试编辑airflow.cfg。我将worker_concurrency更改为1,但似乎没有用。以下是我的dag和airflow.cfg的示例
nodes = 140
for i in range(nodes):
process_bash = bash_operator.BashOperator(
task_id='140_batch_' + str(i+1),
bash_command='python /home/airflow/gcs/data/... xxx.py)
[core]
parallelism = 300
dag_concurrency = 150
max_active_runs_per_dag = 150
[celery]
celery_app_name = airflow.executors.celery_executor
worker_concurrency = 1