使用带有hadoop的ZooKeeper的备用大师可以防止单点故障

Question

在hadoop中，名称节点是单点故障。如果你沿着hadoop使用一个火花，Zookeeper会照顾hadoop通常会有的单点故障吗？或者它仍然依赖于hdfs输入的namenode

Answer 1

让我试着详细说明：

  

在hadoop中，名字节点是单点故障。

好吧，如果您使用ZKFC（ZooKeeper故障转移控制器）在主动 - 备用模式下有2个NameNode设置进行自动故障转移，那么NameNode不是单点故障。

  

如果你沿着hadoop使用spark，Zookeeper会照顾hadoop通常会有的单点故障吗？

有多种方法可以在旁边的hadoop上运行/使用spark。

• 使用YARN在容器上运行Spark
• 使用Spark的独立模式（使用自己的Spark主服务器和工作人员），您可以使用Zookeeper使Spark master高度可用，负责制定调度决策。

  

或者它仍然依赖于hdfs输入的namenode

是的，Spark仍然必须回复NameNode才能从HDFS读取数据。每个HDFS读/写请求都必须通过NameNode，NameNode具有提供实际数据所需的元数据信息。