无法从 Airflow 1.10 中的 GCS 存储桶读取日志

Question

运行任务后，日志将写入 GCS 存储桶。但看起来日志无法从 GCS 存储桶中读取并显示以下错误。

*** 无法从 gs://*************-dev/example_bash_operator/run_after_loop/2021-07-19T06:59:32.870061+00:00/ 读取远程日志1.日志 ***** 预期的字符串或类似字节的对象**

*** 尝试从 worker pod examplebashoperatorrunafterloop-77043f1ceee34f4ab92bfa3c0cf5bcd 获取日志（最后 100 行）***

*** 无法从 worker pod examplebashoperatorrunafterloop-77043f1ceee34f4ab92bfa3c0cf5bcd 中获取日志 *** (404) 原因：未找到

提前致谢。

Answer 1

使用现有的 Airflow connection 远程记录到 Google Cloud Storage 以读取或写入日志失败。如果您没有正确设置连接， 建议update to the latest version排除这些错误。

another post 中陈述的另一种解决方法与您的情况类似。请查看已接受的答案并比较查找连接名称的配置：

[core]

remote_log_conn_id = google_cloud_default

还要确保连接具有正确的权限，可以使用用于它的凭据访问 GCS 存储桶。