从CsvSink衡量指标来源的指标

时间:2018-06-22 02:52:28

标签: apache-spark spark-streaming

我正在尝试测量Spark结构化流的性能指标。但是我无法在指标日志文件中看到任何数据。我的输入源是Rate source,它以每秒指定的行数生成数据。这是指向我的codemetrics.properties文件的链接。

当我使用spark-submit运行上述代码时,我看到度量标准日志(例如run_1.driver.spark.streaming.aggregates.inputRate-total.csv)是在指定目录下创建的,但是大多数值是0。 以下是inputeRate-total.csv文件的一部分:

1529634585,0.0
1529634595,0.0
1529634605,0.0
1529634615,0.0
1529634625,0.0
1529634635,0.0
1529634645,0.0
1529634655,0.0
1529634665,0.0
1529634675,0.0
1529634685,0.0
1529634695,0.0
1529634705,0.0
1529634715,0.0

为什么一定要发生这种情况?乐于分享更多信息(如果有帮助的话)。

0 个答案:

没有答案