累积器未在Spark UI中显示

Question

我已经实现了累加器以查看代码中的事件计数。但是我在Spark UI中看不到它们。 我正在使用以下内容：

val  count_Of_2317508_1 = sc.longAccumulator("count_Of_2317508_1")
 count_Of_2317508_1.add(1) 

在某些情况下。

是否足以在Spark UI上显示？

Answer 1

您可以创建带名称或不带名称的累加器，但在Web UI中（给定阶段的“阶段”选项卡下）仅显示named accumulators。

由于您已经创建了命名累加器，所以它应该出现。

val counter = sc.longAccumulator("counter")