Hadoop HA QJM和NFS的优缺点是什么?

时间:2016-07-14 16:21:49

标签: hadoop hdfs hadoop2 high-availability

当我们需要将QJM或NFS用于Hadoop高可用性时是否有一些规则?

1 个答案:

答案 0 :(得分:1)

QJM显然比NFS好。

从Apache文档页面:

  

为了使备用节点保持其状态与活动节点同步,当前实现要求两个节点都可以访问共享存储设备上的目录(例如,来自NAS的NFS安装)。这种限制将来可能会放松。

如果NFS挂载已关闭或出现问题,则无法实现高可用性。

在QJM中,编辑被写入多个期刊节点,与NFS选项相比,失败概率较低。

相关的SE问题:

Secondary NameNode usage and High availability in Hadoop 2.x