Hadoop jps&格式名称节点导致分段错误

时间:2017-04-30 02:24:35

标签: java ubuntu hadoop apache-spark yarn

我昨晚启动了群集,几乎没有问题。 45分钟后,它进行了日志滚动,然后集群开始抛出JVM等待错误。从那以后,集群不会重新启动。启动时,资源管理器尚未启动。

服务器名称节点和数据节点也是离线的。

我在服务器上安装了两个hadoop 2.8,删除了第一个并重新安装了第二个,对文件进行了调整以重新启动它。

崩溃时出现的错误日志,似乎是Java Stack over flow,超出范围,日志中保存的内存大小不断增加。我的期望是我在一些地方错误配置了内存。我去删除并重新格式化名称节点,我得到相同的分段错误。此时不知道该怎么做。

Ubuntu-Mate 16.04,Hadoop 2.8,Spark for Hadoop 2.7,NFS,Scalia,...

当我开始使用纱线时,我收到以下错误消息

  

hduser @ nodeserver:/opt/hadoop-2.8.0/sbin$ sudo ./start-yarn.sh

     

启动纱线守护进程

     

启动resourcemanager,登录到/opt/hadoop-2.8.0/logs/yarn-root->resourcemanager-nodeserver.out

     

/opt/hadoop-2.8.0/sbin/yarn-daemon.sh:line 103:5337 Segmentation> fault nohup nice -n $ YARN_NICENESS" $ HADOOP_YARN_HOME" / bin / yarn - &gt ; config $ YARN_CONF_DIR $ command" $ @" > " $日志" 2>& 1<的/ dev / null的

     

node1:启动nodemanager,登录到/opt/hadoop-2.8.0/logs/yarn->root-nodemanager-node1.out   node3:启动nodemanager,记录到/opt/hadoop-2.8.0/logs/yarn->root-nodemanager-node3.out   node2:启动nodemanager,登录到/opt/hadoop-2.8.0/logs/yarn->root-nodemanager-node2.out   启动proxyserver,登录到/opt/hadoop-2.8.0/logs/yarn-root->proxyserver-nodeserver.out

     

/opt/hadoop-2.8.0/sbin/yarn-daemon.sh:line 103:5424 Segmentation> fault nohup nice -n $ YARN_NICENESS" $ HADOOP_YARN_HOME" / bin / yarn - &gt ; config $ YARN_CONF_DIR $ command" $ @" > " $日志" 2>& 1<的/ dev / null的   hduser @ nodeserver:/opt/hadoop-2.8.0/sbin$

编辑以添加更多错误输出以获取帮助

>hduser@nodeserver:/opt/hadoop-2.8.0/sbin$ jps
  

分段错误

>hduser@nodeserver:/opt/hadoop-2.8.0/bin$ sudo ./hdfs namenode -format
  

分段错误

似乎显示Java堆栈的日志疯狂并从512k扩展到5056k。那么,如何重置堆栈呢?

  

堆:   def新一代总计5056K,使用1300K [0x35c00000,0x36170000,> 0x4a950000)   eden space 4544K,28%使用[0x35c00000,0x35d43b60,0x36070000)    从空间512K,1%使用[0x360f0000,0x360f1870,0x36170000)    空间512K,0%使用[0x36070000,0x36070000,0x360f0000)   终身代总数10944K,使用9507K [0x4a950000,0x4b400000,> 0x74400000)     空间10944K,86%使用[0x4a950000,0x4b298eb8,0x4b299000,0x4b400000)   Metaspace使用18051K,容量18267K,承诺18476K,保留18736K

24小时后更新,我尝试在Java和Hadoop上完全重新安装,但仍然没有运气。当我尝试java -version时,我仍然会遇到分段错误。

出现我有Stack Overflow,没有简单的修复。使用干净的软件更容易重新开始并重建群集。

0 个答案:

没有答案