数据流作业完成后如何从云存储中删除文件

Question

在GCP中，我有一个数据流作业，该作业负责将文件从云存储复制到大型查询。一旦这些文件成功插入大型查询，我想删除这些文件。有人可以提供有关如何实现这一目标的指导，以及在上一个工作成功之后如何触发另一个工作的指针吗？

Answer 1

对于这些类型的方案，通常建议您引入一种用于将调度和工作负载编排到体系结构中的工具。 Google Cloud提供Cloud Composer（Airflow的托管版本）来解决此用例。您可以在Composer中安排DAG（有向无环图）以启动您的Dataflow作业，然后，在作业运行成功后，执行其他任务以进行文件清理或开始下一个过程。

示例DAG

要开始使用，我建议您检查一下Cloud Composer documentation以及与您的用例相似的Cloud Composer Examples。