我想看看Hadoop的hdfs文件系统是否正常工作。我知道jps
列出了正在运行的守护进程,但我实际上并不知道要查找哪些守护进程。
我运行了以下命令:
$HADOOP_PREFIX/sbin/hadoop-daemon.sh start namenode
$HADOOP_PREFIX/sbin/hadoop-daemon.sh start datanode
$HADOOP_PREFIX/sbin/yarn-daemon.sh start resourcemanager
$HADOOP_PREFIX/sbin/yarn-daemon.sh start nodemanager
当我输入jps
时,只显示了namenode,resourcemanager和nodemanager。
为了让hdfs / Hadoop正常运行,应该运行哪些守护进程?另外,如果hdfs没有运行,你可以做些什么来修复它?
答案 0 :(得分:8)
使用以下任何一种方法检查您的deamons状态
JPS命令会列出所有活动的守护程序
以下是最合适的
hadoop dfsadmin -report
这将列出数据节点的细节,这基本上就是你的HDFS
cat hdfs path中可用的任何文件。
答案 1 :(得分:4)
所以,我花了两周验证我的设置(很好),终于找到了这个命令:
sudo -u hdfs jps
最初我的简单JPS命令只显示了一个进程,但是Ubuntu LTS 14.04下的Hadoop 2.6已经启动了。我使用'Sudo'来运行启动脚本。
以下是与JPS一起列出多个进程的启动:
sudo su hduser
/usr/local/hadoop/sbin/start-dfs.sh
/usr/local/hadoop/sbin/start-yarn.sh