配置SnakeBite HDFS客户端以使用高可用性模式

Question

我正在使用snakebite库从我的气流dags访问HDFS。

我的HDFS群集已升级到高可用性模式。现在，这意味着当该namenode不是活动节点时，配置为仅指向一个名称节点的客户端将失败。

我可以使用哪些策略来实现高可用性高可用性模式？我可以配置snakebite客户端以故障转移到另一个节点吗？我可以使用某种负载均衡器将流量引导到正确的名称节点吗？

Answer 1

事实证明Snakebite没有一个，而是两个解决这个问题的方法：AutoConfigClient，它将从hadoop配置中获取配置，而HAClient则需要两个名称节点。

在我的情况下，我实际上是通过气流使用蛇咬伤。事实证明，airflow的HDFSHook非常智能，能够应对在一个连接中提供的两个名称节点，然后将使用HAClient。