NFS上的Hadoop集群

Question

我正在尝试使用NFS在同一局域网上的5台计算机上设置hadoop群集。我面临的问题是，所有机器上都复制了一台机器上的hadoop副本，因此我无法为每个机器提供专有属性。因此，我得到“无法创建锁定”的错误。 FAQ建议不要使用NFS，但我没有其他选择。 有没有办法可以指定属性，Master应该从location1中选择conf文件，slave1应该从location2中选择conf文件......

Answer 1

为了清楚起见，计算节点和HDFS存储的配置之间存在差异。您的问题似乎只是配置存储。这可以并且应该在本地完成，或者至少让每台机器根据一些本地识别的配置映射到符号链接（例如Mach01 - ＆gt; / etc / config / mach01，...）。

（修订版1）关于以下关于符号链接的评论/问题：首先，我承认这不是我能立即解决的问题。我看到有两种方法：

1. 在计算机上创建一个脚本（例如，在启动时或作为启动Hadoop的包装器），将主机名（例如hostname -a') which then identifies a local symlink (e.g. / usr / local / hadoopConfig'）确定为NFS目录结构上的正确目录。 / LI>
2. 根据本地计算机的主机名设置环境变量la HADOOP_HOME，并让各种脚本使用它。

虽然＃1应该有效，但它是一个传递给我的方法，而不是我设置的方法，如果主机名配置错误（这可能会发生），我会对符号链接有点担心。方法＃2似乎更健壮。