我尝试捕获hadoop任务（mapper和reducer）的磁盘I / O和网络I / O，即即时带宽，累计流量，源地址和目标地址。我找到了两个流行的Hadoop监控工具：Ganglia（通常与Nagios结合使用）和X-Trace。 Ganglia于2004年由加州大学伯克利分校培养，X-Trace于2007年由加州大学伯克利分校开发。
对这两种工具的优缺点提出任何建议表示赞赏。
答案 0 :(得分：1)
我开始使用ganglia或munin - 这些将告诉您群集中不同计算机上的资源利用率。
X-trace是一个相当学术的项目，它可以生成有关分布式事务，延迟和瓶颈以及分布式系统中的控制流的数据。不幸的是，目前它并没有得到很好的支持。