什么是'google_cloud_storage_conn_id'？

Question

我正在使用Airflow的 GoogleCloudStorageDownloadOperator 。但我不明白 google_cloud_storage_conn_id 是什么，我在哪里可以找到它？非常感谢你。

Answer 1

Airflow允许您通过Web控制台在其数据库中存储Connection个对象。这些连接可以在DAG中引用，因此您不需要硬编码凭证。

要使用GoogleCloudStorageDownloadOperator，您首先要将凭据存储到Airflow's Connections界面中的Google云端存储设置。

然后，要在DAG中使用GoogleCloudStorageDownloadOperator，您只需要传递操作符google_cloud_storage_conn_id：

some_task = GoogleCloudStorageDownloadOperator(
    ...
    google_cloud_storage_conn_id='my_google_cloud_storage',
    ...
)