要求:Hadoop Namenode HA的名称服务应该可以跨群集发现。
解决方案#1: 我在网上找到的一个解决方案是将名称服务配置添加到所涉及的集群中的所有hdfs-site.xml文件中。
问题:我们有10个集群并且在不断增长,每次部署新集群时,我们都无法在所有集群中添加新的集群定义。
优点:可管理少数群集。 缺点:不能扩展到更多集群。
解决方案#2: 我们计划开发第二个解决方案,以便有一个集中服务来跨集群解析名称服务,并有一个自定义类扩展org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider类。
请提供有关此问题已提交的任何更好的解决方案或任何现有补丁的任何输入。