airflow-LocalExecutor-每个CPU应该运行多少个并行任务?

时间:2019-05-15 21:44:25

标签: airflow airflow-scheduler apache-airflow-xcom

应该使用airlocal localexecutor在同一台计算机上并行运行多少个不同的任务(我不希望将celery / rabbitmq /多台计算机设置为仅并行运行任务)?假设我有一台96CPU的机器,并行度应该是100、200、500吗?

我的任务只有pythonoperator(文件上的行计数和配置单元msck修复)和sparksubmitoperator

0 个答案:

没有答案