想知道是否存在某种“挂钩”来放置一段代码,该代码将在apache beam pipeline关闭时执行(无论出于何种原因 - 崩溃,取消)
每次数据流停止时,我都需要删除pubsub主题上的订阅。
答案 0 :(得分:0)
Apache Beam自然不适合这种流程。为此,您可能需要查看业务流程引擎,例如Apache Airflow。
使用Airflow,您应该能够安排任何类型的脚本在Beam管道完成/失败/取消后运行等等。看看吧!
答案 1 :(得分:0)
有一些示例可以等待管道完成并在 ExampleUtils class in the examples folder in the apache/beam repository here 中管理 Pubsub 主题/订阅。看看有没有什么东西可以用在 waitUntilFinish 和 tearDown 方法中。
这是 java 代码 - 不确定这是否是您使用的语言。
(从长远来看,@Pablo 建议将其与管道代码进一步分离可能是最好的 - 也许取决于您在这里的确切目标。)