在IBM BigInsights中重新启动Namenode的过程(启用GPFS - HDFS的透明层)

时间:2016-10-28 08:50:52

标签: hadoop biginsights namenode

我正在开发使用Apache Ambari安装的IBM Hadoop发行版(BigInsights),目前已启用GPFS(通用并行文件系统)作为HDFS的透明层。在Ambari上,我们在HDFS上启用了维护模式,并且无法通过Ambari控制台对core / hdfs-site.xml进行任何更改。所以,如果我想对core / hdfs-site.xml进行任何更改,我必须使用CLI从服务器端创建它们然后我必须如何在GPFS环境中重新启动我的namenode / datanode?我是否需要重新启动连接器,这将启用新参数或重新启动namenode?如果连接器工作,那么我确实有命令" mmhadoopctl"但如果没有,我必须使用什么命令来启用配置文件中的新参数。

2 个答案:

答案 0 :(得分:0)

如果下面的文件系统是GPFS(非HDFS),为什么它仍然运行namenode和datanode?我怀疑GPFS有单独的配置文件,并且不知道你在hdfs-site.xml中设置了什么。

无论如何,重新启动namenode非常简单,以hdfs用户身份登录并运行hadoop-daemon.sh stop namenode然后hadoop-daemon.sh stop namenode,hadoop-daemon.sh脚本位于HADOOP_HOME的sbin下。

答案 1 :(得分:0)

Spectrum Scale(GPFS)提供了自己的namenode服务(以及datanode服务)。但是,这只是基础Spectrum Scale文件系统和Spectrum Scale元数据的包装。 NameNode服务是无状态的,例如,有关文件,ACL等的所有信息都保留在Spectrum Scale中(可以使用POSIX和Spectrum Scale命令行工具从命令行中看到。

/usr/lpp/mmfs/hadoop/sbin/mmhadoopctl connector stop

/usr/lpp/mmfs/hadoop/sbin/mmhadoopctl connector start

/usr/lpp/mmfs/hadoop/sbin/mmhadoopctl connector getstate

即使用GPFS命令而不是通用的Hadoop NameNode服务