我正在使用气流docker-compose from here，并且遇到一些性能问题以及气流崩溃的奇怪行为。
首先，我有5个DAG同时运行，其中每个都有8个步骤，其中max_active_runs=1：
step1x
step2y
step3 >> step4 >> step8
step3 >> step5 >> step8
step3 >> step6 >> step8
step3 >> step7 >> step8
我想知道我应该使用什么配置，以最大程度地提高气流并行度与稳定性。即：我想知道对于具有 X CPU 和 Y GB RAM 的计算机，最大建议的[选项如下]。
我正在使用LocalExecutor，但不知道如何配置并行性：
AIRFLOW__SCHEDULER__SCHEDULER_MAX_THREADS=?
AIRFLOW__CORE__PARALLELISM=?
AIRFLOW__WEBSERVER__WORKERS=?
是否有文档说明根据您的机器规格对每一项的建议？
答案 0 :(得分：0)
我不确定您是否有并行问题...
您能澄清点什么吗？您有5个具有类似设置的不同dag？还是一次要启动五个相同任务的实例？我希望前者是由于max_active_runs设置。
在此处的任务声明中：
step1x
step2y
step3 >> step4 >> step8
step3 >> step5 >> step8
step3 >> step6 >> step8
step3 >> step7 >> step8
您是否期望step1x，step2y和step3都同时执行？然后是4-7，最后是step8？在DAG中您需要做什么，而不是1-8个顺序？