Bluemix Apache Spark度量标准

Question

我一直在寻找一种方法来监控Spark on Bluemix的性能。我知道在Apache Spark项目中，他们提供了基于Coda Hale Metrics Library的度量服务。这允许用户将Spark指标报告给各种接收器，包括HTTP，JMX和CSV文件。详情请见http://spark.apache.org/docs/latest/monitoring.html

有没有人知道在Bluemix Spark服务中有什么方法可以做到这一点？理想情况下，我想将指标保存到对象存储中的csv文件中。

感谢帮助。

由于

扫

Answer 1

目前，我没有看到使用“Coda Hale Metrics Library”和报告作业历史记录或通过REST API访问信息的选项。

但是，在Spark历史记录服务器的主页面上，您可以看到事件日志目录。它引用您的以下用户目录：file：/ gpfs​​ / fs01 / user / USER_ID / events /

在那里我看到了JSON（比如）格式的文件。