气流中的远程日志

Question

我有两台机器。 Machine1：气流网络服务器，气流计划程序。 Machine2：特定队列上的气流工作者。我正在使用CeleryExecutor。 machine2上的任务运行成功（在本地驱动器上写入和删除文件），但是在machine1的Web UI中，我没有读取日志文件。

***日志文件不存在：/home/airflow/logs/delete_images_by_ttl/delete_images/2018-10-29T12:24:23.299741+00:00/1.log

***从http://localhost-int.localdomain:8793/log/delete_images_by_ttl/delete_images/2018-10-29T12:24:23.299741+00:00/1.log

获取

***无法从worker中获取日志文件。 HTTPConnectionPool（host ='localhost-int.localdomain'，port = 8793）：URL超过最大重试次数：/ log / delete_images_by_ttl / delete_images / 2018-10-29T12：24：23.299741 + 00：00 / 1.log

Answer 1

要解决此问题，请编辑/ etc / hosts。为气流网络服务器添加IP和DNS名称

Answer 2

HTTPConnectionPool 表示网络服务器无法与工作节点通信。

在 /etc/hosts 文件中添加工作节点主机名

也在下面验证

base_log_folder = /home/airflow/logs/

sudo chmod -R 777 /home/airflow/logs/