使用不带云功能的GCS create event触发Dag

时间:2020-06-18 05:29:54

标签: google-cloud-storage google-cloud-composer

有没有一种方法可以通过监听GCS创建事件而不使用云功能来触发云作曲家?

我碰到了这篇文章:https://cloud.google.com/composer/docs/how-to/using/triggering-with-gcf,但是,我暂时为一个技术不是很好的团队工作。因此,当我在某个存储桶中创建文件时,我尝试运行工作流,并尽可能减少可维护性要求。

1 个答案:

答案 0 :(得分:0)

我认为使用云功能是从云存储事件触发DAG的最简单方法。另一种选择是使用Pub/Sub,它似乎比您共享的tutorial中显示的代码复杂。

我已经创建了Cloud Functions来触发Composer中的DAG,最复杂的步骤只是获取Web服务器的ID。