为什么气流googlecloudstorageobjectsensor不为部分对象名称（例如：file * .csv）进行搜索

Question

气流中的

gcs_sensor不适用于部分对象名称。 例如在对象中，我给了myfile *，但它不起作用。 您能提出一种建议的方法，该方法使用部分名称在Google云存储中进行搜索

file_watcher = GoogleCloudStorageObjectSensor(
    task_id='filesensor',
    bucket='poc-1',
    object='myfile*',
    google_cloud_conn_id='google_cloud_default',
    dag=example_dag
)

Answer 1

您可能想看看GoogleCloudStoragePrefixSensor。

参考：

https://airflow.apache.org/code.html#airflow.contrib.sensors.gcs_sensor.GoogleCloudStoragePrefixSensor

file_watcher = GoogleCloudStoragePrefixSensor(
    task_id='filesensor',
    bucket='poc-1',
    prefix='myfile',
    google_cloud_conn_id='google_cloud_default',
    dag=example_dag
)