Question

我正在尝试在 Apache Airflow 上创建一个简单的 DAG 工作流，其中数据会更新到我的本地 PostgreSQL 数据库。

谁能告诉我为什么我的 DAG 会失败，并且只有在我使用 CeleryExecutor 时才会在日志中出现这些错误？我尝试使用 LocalExecutor 运行相同的 DAG，但没有出现任何错误并且运行顺利。

这是日志错误：

*** Log file isn't local.
*** Fetching here: http://<worker hostname>:8793/log/PDI_Incr_20190407_v2/checkBCWatermarkDt/2019-04-07T17:00:00/1.log
*** Failed to fetch log file from worker. 404 Client Error: NOT FOUND for url: http://<worker hostname>:8793/log/PDI_Incr_20190407_v2/checkBCWatermarkDt/2019-04-07T17:00:00/1.log

感谢您的帮助！

Answer 1

最佳解决方案

如果你想在你的网页上看到日志，你需要配置worker节点的/etc/hosts的主机名映射，将worker节点的ip映射到机器的主机名：

10.xxx.xxx.xxx  hostname

以及您之后的请求：

http://hostname.pl:8793/log/..

快速解决方案

如果你不想这样做，你可以在你的工作节点airflow/logs/{dagName}/{taskName}/{executionTimestamp}/log.txt中看到日志

在您的情况下，它将是 airflow/logs/PDI_Incr_20190407_v2/checkBCWatermarkDt/2019-04-07T17:00:00/1.log

气流 - 无法获取日志文件

1 个答案: