我开始使用Hadoop - 我想知道
what all the factors that needs to be looked at when a Map Reduce job(say via Hive or Snapplex) is being triggered to ensure that the cluster is stable and that job does not do any major impact
到群集
在哪里可以查找所有这些检查点,是否有任何标准阈值可以跟踪?
基本上是系统运行状况检查,以确保我们构建的MR作业是干净的
欣赏任何见解
答案 0 :(得分:0)
Hadoop通常包含一个NameNode和JobTracker Web界面,用于监控目的。
NameNode UI为您提供可用节点和整体群集容量以及死节点的概述。
JobTracker UI概述了正在运行和失败的作业及其日志输出。
对NameNode的默认访问是通过http://localhost:50070/。 对于Jobtracker:http://localhost:8088 (这可能会因您使用的hadoop分布而异)