发送Spark流量指标以打开tsdb

Question

如何从我的spark流式传输作业发送指标以打开tsdb数据库？我试图在Grafana中使用open tsdb作为数据源。你可以帮我一些我可以开始的参考资料。

我确实看到开放的tsdb记者在这里做类似的工作。如何整合Spark流媒体作业的指标来使用它？有没有简单的选择呢。

Answer 1

将指标发送到opentsdb的一种方法是使用它REST API。要使用它，只需将指标转换为JSON字符串，然后利用Apache Http客户端库发送数据（它在java中，因此可以在scala中使用）。示例代码可以在github上找到。

更优雅的解决方案是使用Spark指标库并向数据库添加接收器。为Spark指标库添加OpenTSDB接收器有discussion，但最终它没有添加到Spark本身。该代码可在github上使用，并且应该可以使用。不幸的是，代码与Spark 1.4.1兼容，但是，在最坏的情况下，仍然可以获得一些必要的添加指示。