在气流中将文件上传到GCS桶

Question

我有一个Airflow DAG，其变量设置为GCS存储桶，如下所示：

bucket = 'customer_accounts'

当我运行Airflow DAG时，一切正常，并且CSV文件已上传到customer_accounts存储桶中。

现在，我想在customer_accounts存储桶中创建一个文件夹，并将所有CSV文件从DAG发送到存储桶中的以下文件夹。

bucket = 'customer_accounts/canada'

但是，当我尝试使用bucket = 'customer_accounts/canada'运行DAG时，收到一条错误消息，提示存储桶名称无效。您知道如何解决此问题吗？

Answer 1

如评论中所述，存储桶仍为'customer_accounts'，Google Cloud Storage没有传统意义上的文件夹概念，它们是文件名的一部分。您可以在https://cloud.google.com/storage/docs/gsutil/addlhelp/HowSubdirectoriesWork了解更多信息。