气流和Docker容器

时间:2017-01-19 04:20:16

标签: airflow

我在容器AWS ECS,1个调度程序,2个Web服务器和多个芹菜工作者中运行气流。

从我所看到的,在容器中运行它们时唯一受到影响的是Web服务器无法访问工作者' 8793上的端口,用于从工作人员检索日志。

这只是在容器中运行它们时会受到影响吗?

1 个答案:

答案 0 :(得分:5)

是的,因为您只能将一个端口从docker容器映射到主机实例。我使用类似的设置和日志是我遇到的唯一主要问题。但是有不同的方法来解决这个问题。您可以在容器上使用其他日志记录服务,将日志推送到Cloudwatch或FLuentdb等。