Spark-我们可以记录阶段时间戳吗?

时间:2019-11-22 18:24:25

标签: apache-spark

运行spark作业时(至少在客户机模式下使用驱动程序运行),我们通常会在日志阶段看到显示的进度,如下面的示例所示(尽管通常在控制台行中它们会自己覆盖以创建动态视图)。

[Stage 2:=======>                                             (143 + 20) / 1000]
[Stage 2:=========>                                           (188 + 20) / 1000]
[Stage 2:===========>                                         (225 + 20) / 1000]

我正在尝试确定是否可以使阶段的时间戳记开始(并且可能是结束)时间。我正在分析我的应用程序在某些阶段是否会出现罕见的速度下降,尽管有UI可以实时或历史监控阶段,但在日志中包含此信息将使某些事情变得更容易。

谢谢。

0 个答案:

没有答案