如何从Spark cassandra连接器读取指标(Table Writer的写入时间)

时间:2018-04-12 11:02:36

标签: java cassandra spark-streaming

我正在使用spark-cassandra-connector_2.11-2.0.1版本。

需要了解阅读/写入cassandra时所花的时间。

1 个答案:

答案 0 :(得分:0)

Cassandra通过JMX公开了许多指标:http://cassandra.apache.org/doc/latest/operating/metrics.html 然后,您将可以访问一些cassandra客户端请求延迟(读取和写入)。在Spark的情况下,你必须谨慎,因为火花分批写入Cassandra。

最简单的方法是使用云指标提供程序(例如datadog)来收集那些您可以检查的指标。

作为替代方案,常见的选择是使用Prometheus收集指标,并使用Grafana进行可视化。有一些博客文章可以帮助你。