设置Apache Airflow群集的最低硬件要求是什么。
EG。 RAM，CPU，磁盘等，用于集群中不同类型的节点。
谢谢
答案 0 :(得分：6)
我在伪分布式模式下使用非常小的实例没有问题（32个并行工作者; Postgres后端）：
如果你想要分布式模式，如果你保持它的同质性，你应该更好。无论如何气流不应该真的很重;将工作负载推送到其他事物（Spark，EMR，BigQuery等）。
您还必须运行某种消息传递队列，例如RabbitMQ。我认为他们也接受了Redis。但是，这并没有真正显着影响你的体型。
答案 1 :(得分：0)
我们使用以下配置在AWS中运行气流
t2.small->气流计划程序和Web服务器
db.t2.small->用于元存储的postgres
airflow.cfg中的parallelism参数设置为10，并且大约有10个用户访问airflow UI
我们从气流执行的所有操作都是ssh到其他实例，然后从那里运行代码