我们有一个小型Hadoop集群,其中JobTracker配置为动态(从节点移动到节点)。我们希望通过公共WebUI(Hadoop MapReduce Job Tracker)而不是通过命令行更公开地提供数据,日志文件和交互。
实现的想法是使hadoop集群中的所有节点都打开其出站的Web端口,并为所有节点创建一个公共DNS别名,以便对JobTracker节点进行常量引用。这是最佳做法吗?还有兴趣安装最终用户可以访问的Apache Hue(http://www.gethue.com)等前端插件。
我知道有能力使JobTracker保持静态,这可以解决这个问题,但可能会引入其他问题 - 但我确信通过制作专用节点,它可以消除一些hadoop预期用途和集群节点的功能。
了解如何从战略上最好地为管理员和最终用户部署一致且可访问的URL。
答案 0 :(得分:0)
Hue支持JT HA,因此您可以列出可能的jobtrackers主机/端口,Hue将选择有效的。{/ p>
但是,最好的情况是每次重新配置并重新启动Hue时,可能会使用新主机名更新hue.ini。
显然,如果Cloudera Manager用于重新配置群集,它也会自动更新Hue。