如何将气流日志存储在HDFS或其他本地存储上

时间:2019-01-15 00:23:41

标签: airflow

我正在Mesos上将气流工作者作为实例运行,目前在安装过程中使用LocalExecutor。这有一个问题,即工作人员(在调度程序实例中)生成的日志报告其日志位于http:// {dockerid}:4637 / ......,这是行不通的,因为我无法随意打开该端口在奴隶上,因为最终可能在同一mesos奴隶上还有其他工作人员,而且主机无法解析。

我已经开始使用S3日志存储,但是宁愿不付款;是否存在将日志发送到hdfs(我已经设置过)或ftp服务器或其他类似的简单自托管解决方案的现有方法?还是禁止这种情况,我将如何构建这种气流?

0 个答案:

没有答案