我最近一直在使用Hadoop。我想知道是否有任何API或监控工具可用于收集有关任务和HDFS的实时统计数据（如奴隶/主人之间的数据移动）。
我只能从日志文件中找到这些信息，但我想要实时获取这些信息（不做后期分析）。
答案 0 :(得分：7)
Ganglia和Nagios可以与Hadoop集成以监控Hadoop集群。查看这些教程（1和2）以了解有关Ganglia和Nagios的更多信息。
搜索Ganglia / Nagios和Hadoop的组合，你会得到很多教程。 Here是一个简短的介绍。
答案 1 :(得分：2)
如果您正在使用Yarn，那么在屏幕抓取作业跟踪器Hadoop YARN - Introduction to the web services REST API's之前，我会使用其他API。如果你使用的是1.3，我什么都不知道。 Apache的Jira上有一个bug opened要求提供这个功能，但它在MRv2中被标记为已解决，所以我不希望它有任何进展。
关于Ganglia / Nagios，该对不跟踪工作流程，它跟踪系统的健康状况。如果它有能力将工作追踪埋藏在其内部，我还没有找到它。
答案 2 :(得分：1)
您可以从Jobtracker Web UI中抓取信息（用于任务），也可以使用API编写一个小型Java程序来访问JobTracker并轮询它以获取信息。在HDFS事件方面，你需要尾随＆amp; amp;解析日志文件，或者可能从Namenode Web UI中删除一些信息。可能使用JMX从每个数据节点获取指标，具体取决于您所追求的内容。
答案 3 :(得分：0)
Jumbune具有非侵入式群集监控功能。这是Hadoop供应商的中立。它具有集群监控（分析）功能，可以监控多个Hadoop集群。
群集监控（分析）为您提供执行，