在Airflow调度程序中,有诸如心跳和max_threads之类的东西。
参见How to reduce airflow dag scheduling latency in production?。
如果我使用的是Google Cloud Composer,是否需要担心/设置这些值?
如果不是,那么Google Cloud Composer使用什么值?
答案 0 :(得分:1)
您可以在作曲家实例存储桶gs://composer_instance_bucket/airflow.cfg
中看到气流配置。您可以根据需要调整此配置,请记住,云编写器有一些configurations blocked。
另外,如果您进入Airflow UI -> Admin -> Configuration
,则可以看到完整的配置。
答案 1 :(得分:-1)
如果您希望对这些变量有更多的控制/可见性,请考虑托管Airflow @天文学家https://www.astronomer.io/cloud/,因为它运行的是香草气流。