使用Airflow将本地目录上传到GCS

Question

我正在尝试使用Airflow将目录（包含实木复合地板文件）上传到GCS。 为此，我尝试了FileToGoogleCloudStorageOperator。

我尝试了以下选项：

• 选项1

src=<Path>/*.parquet

错误：No such file found

• 选项2

src=<Path>->其中path是目录路径

错误地说：Is a directory

问题

1. 反正FileToGoogleCloudStorageOperator是否可以扩展到目录级别？
2. 还有其他替代方法吗？

Answer 1

简短答案：目前无法实现。但我会将其作为功能请求，并尝试在即将发布的版本中添加。

到那时，您只能使用BashOperator并使用gsutil来同时复制多个文件。

另一种选择是使用PythonOperator，使用os包列出文件并循环遍历，然后使用GoogleCloudStorageHook.upload上传每个文件。