我正在使用spark-cassandra-connector_2.11-2.0.1版本。
需要了解阅读/写入cassandra时所花的时间。
答案 0 :(得分:0)
Cassandra通过JMX公开了许多指标:http://cassandra.apache.org/doc/latest/operating/metrics.html 然后,您将可以访问一些cassandra客户端请求延迟(读取和写入)。在Spark的情况下,你必须谨慎,因为火花分批写入Cassandra。
最简单的方法是使用云指标提供程序(例如datadog)来收集那些您可以检查的指标。
作为替代方案,常见的选择是使用Prometheus收集指标,并使用Grafana进行可视化。有一些博客文章可以帮助你。