Composer自动缩放？

Question

鉴于GCP作曲家正在使用GKE / GCE运行，它是否自动缩放？ 现在我在集群中有3个节点来支持说100个DAG。

之后，如果我有大约300个DAG，它会扩大自己（与芹菜工人一起）吗？

Answer 1

我们目前不支持自动缩放，但它已在我们的路线图上。但是，您可以通过更新nodeCount值来手动放大/缩小GKE群集。

Answer 2

此时没有自动缩放，但我希望它在路线图中。

天文学家正在使用Kubernetes开发自动调节Airflow服务，它可能会在Google Composer启动自动调节的时候推出......所以好时光即将来临：）

Answer 3

我刚刚发表了一篇文章，展示了如何在其基础kubernetes https://link.medium.com/AMUlwUIkD0中启用自动缩放。

基本上：

1. 在节点级别启用自动缩放

2. 将Horizo​​ntalPodAutoscaler应用于气流工作人员部署

3. 增加一些气流配置参数以消除瓶颈

已在composer-1.7.2和composer-1.7.5中进行了测试，但可能也适用于其他版本

检查一下