标签: airflow airflow-scheduler apache-airflow-xcom
应该使用airlocal localexecutor在同一台计算机上并行运行多少个不同的任务(我不希望将celery / rabbitmq /多台计算机设置为仅并行运行任务)?假设我有一台96CPU的机器,并行度应该是100、200、500吗?
我的任务只有pythonoperator(文件上的行计数和配置单元msck修复)和sparksubmitoperator