标签： google-cloud-dataproc
我希望在Cloud Dataproc作业完成后收到通知。不幸的是，Cloud Dataproc似乎没有提供钩子或某些方式来通知作业的生命周期，我想自己实现这个机制。
我计划在我的Spark应用程序完成作业时推送到Pub / Sub。但是，我如何知道在Spark应用程序中识别作业的信息？如果我可以从下面的应用程序获得User Labels作业，我通过在提交时给出一个唯一标签来利用它，然后在Pub / Sub消息中包含标签键和值。