Spark Job创建时间

Question

如何使用taskcontext访问作业创建时间。 我计划这次在不同的执行器中使用，并使用持久性数据进行设置，这将对以后的流程有所帮助。由于作业创建时间是唯一的，即使从不同的执行者那里检索时，它也有助于跟踪一项作业中的持久数据。

是否可以从TaskMetrics获取信息？
如何访问Jobdata类？

Answer 1

我可以使用侦听器来做到这一点。我必须扩展类SparkListners并跟踪作业（作业的所有任务）何时结束，并据此启动并执行操作。