当MapReduce作业运行要查找的内容时?

时间:2015-05-29 22:37:28

标签: hadoop mapreduce hive cluster-computing health-monitoring

我开始使用Hadoop - 我想知道

what all the factors that needs to be looked at when a Map Reduce job(say via Hive or Snapplex) is being triggered to ensure that the cluster is stable and that job does not do any major impact到群集

在哪里可以查找所有这些检查点,是否有任何标准阈值可以跟踪?

基本上是系统运行状况检查,以确保我们构建的MR作业是干净的

欣赏任何见解

1 个答案:

答案 0 :(得分:0)

Hadoop通常包含一个NameNode和JobTracker Web界面,用于监控目的。

NameNode UI为您提供可用节点和整体群集容量以及死节点的概述。

JobTracker UI概述了正在运行和失败的作业及其日志输出。

对NameNode的默认访问是通过http://localhost:50070/。 对于Jobtracker:http://localhost:8088 (这可能会因您使用的hadoop分布而异)