替代FileToGoogleCloudStorageOperator

Question

因此，我发现FileToGoogleCloudStorageOperator有助于将文件从本地系统移至Google Cloud。但是是否有类似的气流运算符将整个目录移动到Google Cloud。

Answer 1

这不是正式的，但创建它很容易，您可以重用https://github.com/apache/incubator-airflow/blob/master/airflow/contrib/operators/file_to_gcs.py

中的大多数逻辑

您可以使用相同的GoogleCloudStorageHook来上传单个文件，并遍历目录，上传所有文件。无论如何，这就是GCS的任何目录上载功能。

根据您通常需要上传的文件数量，最好将上传分为多个任务。这样，如果一个上传任务失败，则不必重新启动所有文件的上传。但这取决于您的用例。