气流无法从Azure存储中获取日志

Question

我通过Azure中的Terraform在Kubernetes群集上部署了Airflow。

DAG能够成功运行，并且日志被写入Azure存储容器。

但是，在Airflow UI中，当我尝试访问任务日志时，无法从同一容器中获取日志。这是它给出的错误。

*** Log file does not exist: /usr/local/airflow/logs/<dag_name>/<task_name>/2020-11-10T23:19:17.444280+00:00/1.log
*** Fetching from: http://xxxxxx:8793/log/<dag_name>/<task_name>/2020-11-10T23:19:17.444280+00:00/1.log
*** Failed to fetch log file from worker. HTTPConnectionPool(host='xxxxxx', port=8793): Max retries exceeded with url: /log/<dag_name>/<task_name>/2020-11-10T23:19:17.444280+00:00/1.log (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7fac1bd99310>: Failed to establish a new connection: [Errno -3] Temporary failure in name resolution'))

我确保所有凭据和名称都是正确的，这很奇怪，因为它可以在同一位置写入但无法读取。

任何解决方法的线索都将受到高度赞赏。预先感谢！

Answer 1

此问题通过在Kubernetes集群上推出重启部署来解决。