google-cloud-functions - 如何通过基于事件的Cloud Function执行Google Data Fusion Pipeline

时间：2019-07-23 11:52:48

标签： google-cloud-functions google-cloud-data-fusion

是否可以通过Cloud Function（最好是基于python）运行Google Data Fusion管道？

核心要求是，每当新文件到达GCS存储桶中时，就会执行基于事件的Cloud函数。然后，Cloud Function需要调用数据融合管道，该管道会将GCS存储桶文件加载到BigQuery中。

要执行云功能，我们可以使用以下代码：

gcloud函数部署hello_gcs_generic --runtime python37 --trigger-resource YOUR_TRIGGER_BUCKET_NAME --trigger-event google.storage.object.finalize

答案 0 :(得分：0)

目前无法实现。但是，通过GA，我们将公开REST API来运行数据管道。然后，您可以使用REST API从Cloud Functions触发管道。

答案 1 :(得分：0)

您可以使用来自 Cloud 函数的 API 来启动管道。