Google Cloud Dataflow - Apache Beam - Pipeline Shutdown Hook

时间:2017-08-17 13:42:34

标签: google-cloud-dataflow apache-beam

想知道是否存在某种“挂钩”来放置一段代码,该代码将在apache beam pipeline关闭时执行(无论出于何种原因 - 崩溃,取消)

每次数据流停止时,我都需要删除pubsub主题上的订阅。

2 个答案:

答案 0 :(得分:0)

Apache Beam自然不适合这种流程。为此,您可能需要查看业务流程引擎,例如Apache Airflow

使用Airflow,您应该能够安排任何类型的脚本在Beam管道完成/失败/取消后运行等等。看看吧!

答案 1 :(得分:0)

有一些示例可以等待管道完成并在 ExampleUtils class in the examples folder in the apache/beam repository here 中管理 Pubsub 主题/订阅。看看有没有什么东西可以用在 waitUntilFinish 和 tearDown 方法中。

这是 java 代码 - 不确定这是否是您使用的语言。

(从长远来看,@Pablo 建议将其与管道代码进一步分离可能是最好的 - 也许取决于您在这里的确切目标。)