使用Python 3.7将文件添加到云存储时如何使用云功能触发云作曲家DAG

Question

每次将文档放在某个存储桶中时，我都想启动DAG工作流程来分析该文档。 我需要使用云功能使用云存储触发器和事件类型完成并创建

来触发DAG工作流程

Answer 1

更新-截至2019年9月，the docs中现在有一个Python示例，文档的摘要可在GitHub中找到。

---

看看this doc，它向您展示了如何使用Google Cloud Functions触发DAG以及在Finalize / Create事件中选择的存储桶

[已编辑以添加Python特定详细信息]

由于您需要Python，并且该文档是针对NodeJS的，因此您现在必须自己进行修改。在Composer中对Airflow API的调用将通过身份识别代理（请参见this diagram，有关详细信息，也显示在下面，），因此触发DAG的发布请求也将必须通过身份识别代理。

幸运的是，在python-docs-samples示例存储库中有一个great Python example用于向IAP发出发布请求。如果您将该脚本复制到存储库中，并使用与NodeJS（this script）相同的步骤获取客户端ID，则它应该像NodeJS一样触发DAG。