Hadoop JobTracker UI主机

时间:2013-11-19 18:16:04

标签: hadoop hue hadoop-plugins

我们有一个小型Hadoop集群,其中JobTracker配置为动态(从节点移动到节点)。我们希望通过公共WebUI(Hadoop MapReduce Job Tracker)而不是通过命令行更公开地提供数据,日志文件和交互。
实现的想法是使hadoop集群中的所有节点都打开其出站的Web端口,并为所有节点创建一个公共DNS别名,以便对JobTracker节点进行常量引用。这是最佳做法吗?还有兴趣安装最终用户可以访问的Apache Hue(http://www.gethue.com)等前端插件。

我知道有能力使JobTracker保持静态,这可以解决这个问题,但可能会引入其他问题 - 但我确信通过制作专用节点,它可以消除一些hadoop预期用途和集群节点的功能。

了解如何从战略上最好地为管理员和最终用户部署一致且可访问的URL。

1 个答案:

答案 0 :(得分:0)

Hue支持JT HA,因此您可以列出可能的jobtrackers主机/端口,Hue将选择有效的。{/ p>

但是,最好的情况是每次重新配置并重新启动Hue时,可能会使用新主机名更新hue.ini

显然,如果Cloudera Manager用于重新配置群集,它也会自动更新Hue。