在GC Composer DAG中将Cloud Functions用作运算符

时间:2019-08-13 21:52:35

标签: google-cloud-platform google-cloud-functions google-cloud-composer

资深编码员,

对于一个项目,我感兴趣的是使用Google Cloud Composer处理几个工作流,这些工作流由可以在工作流之间共享的操作组成。

在我看来,云功能是在Composer DAG中执行任务的理想方式。

据我了解,我需要一个运算符,该运算符使用特定DAG中任务的特定数据来调用云函数。

我在Airflow documentation中找到了Google Cloud Function运算符,但是,这些运算符仅用于部署和删除云功能,而不用于调用它们。

关于invoking DAGs from a cloud function的文章很多,但是关于使用云功能作为DAG中的操作似乎没什么可写的。

用例示例:
每次将文档放在某个存储桶中时,我都想启动DAG工作流程来分析该文档。 该DAG可以包含各种任务,例如提取文档的发件人,徽标的分类或搜索特定的单词。对于这些单独的任务,我想创建在DAG中缝合在一起的单独的云功能以组成我的工作流程。

问题:
如何在Google Composer DAG中调用云功能?
人们对此有经验还是可以找到示例代码?

谢谢。

1 个答案:

答案 0 :(得分:0)

HTTP Triggers可用于运行Cloud Functions,因此您可以使用HTTP operator从DAG调用它们。 DAG运行的任务(称为Cloud Function触发器)比运行该功能。