气流远程记录无法正常工作

Question

我有一个正在运行的Apache - Airflow 1.8.1实例。

我有一个工作连接（和它的ID）写入Google云端存储，我的气流用户有权写入存储桶。

我尝试通过添加

来使用远程日志存储功能

#some-div{ background-image: url('siteurl.com/images/img.jpg'); }

remote_base_log_folder = 'gs://my-bucket/log'

这就是全部（我没有碰过任何配置但是那个）

我重新启动了所有服务，但日志没有上传到gcs（我的存储桶仍然是空的），我的文件系统空间仍然在减少。

您是否已使用gcs成功启用远程日志？如果是的话，你改变了什么/做了什么？

Answer 1

我设法将远程日志发送到GCS。首先，您需要授予服务帐户写入GCS存储桶的权限。

这是我的GCP连接设置：

然后，编辑airflow.cfg文件：

remote_base_log_folder = gs://my-backup/airflow_logs
remote_log_conn_id = my_gcp_conn

编辑配置文件后，需要重新初始化它：

airflow initdb

# start the web server, default port is 8080
airflow webserver -p 8080

打开＆＃34;教程＆＃34;进行测试DAG，您应该能够在GCS中本地和远程查看日志：