如何衡量Spark Standalone Cluster中节点之间的通信？

Question

我使用Spark Standalone Cluster，我想知道节点相互发送了多少信息。我该怎么测量它？

Answer 1

你可以监控ganglia和nagios等工具吗？我个人认为我去了神经节。

Answer 2

您可能需要使用像zabbix这样的完整监控系统来收集所有节点的信息。

另外，如果您对节点之间的数据发送感兴趣，可以查看驱动程序的UI（通常是4040端口）。检查每个任务的位置级别，如果您发现“ANY”，则表示工作节点之间可能的数据传输。