我昨晚启动了群集,几乎没有问题。 45分钟后,它进行了日志滚动,然后集群开始抛出JVM等待错误。从那以后,集群不会重新启动。启动时,资源管理器尚未启动。
服务器名称节点和数据节点也是离线的。
我在服务器上安装了两个hadoop 2.8,删除了第一个并重新安装了第二个,对文件进行了调整以重新启动它。
崩溃时出现的错误日志,似乎是Java Stack over flow,超出范围,日志中保存的内存大小不断增加。我的期望是我在一些地方错误配置了内存。我去删除并重新格式化名称节点,我得到相同的分段错误。此时不知道该怎么做。
Ubuntu-Mate 16.04,Hadoop 2.8,Spark for Hadoop 2.7,NFS,Scalia,...
当我开始使用纱线时,我收到以下错误消息
hduser @ nodeserver:/opt/hadoop-2.8.0/sbin$ sudo ./start-yarn.sh
启动纱线守护进程
启动resourcemanager,登录到/opt/hadoop-2.8.0/logs/yarn-root->resourcemanager-nodeserver.out
/opt/hadoop-2.8.0/sbin/yarn-daemon.sh:line 103:5337 Segmentation> fault nohup nice -n $ YARN_NICENESS" $ HADOOP_YARN_HOME" / bin / yarn - &gt ; config $ YARN_CONF_DIR $ command" $ @" > " $日志" 2>& 1<的/ dev / null的
node1:启动nodemanager,登录到/opt/hadoop-2.8.0/logs/yarn->root-nodemanager-node1.out node3:启动nodemanager,记录到/opt/hadoop-2.8.0/logs/yarn->root-nodemanager-node3.out node2:启动nodemanager,登录到/opt/hadoop-2.8.0/logs/yarn->root-nodemanager-node2.out 启动proxyserver,登录到/opt/hadoop-2.8.0/logs/yarn-root->proxyserver-nodeserver.out
/opt/hadoop-2.8.0/sbin/yarn-daemon.sh:line 103:5424 Segmentation> fault nohup nice -n $ YARN_NICENESS" $ HADOOP_YARN_HOME" / bin / yarn - &gt ; config $ YARN_CONF_DIR $ command" $ @" > " $日志" 2>& 1<的/ dev / null的 hduser @ nodeserver:/opt/hadoop-2.8.0/sbin$
编辑以添加更多错误输出以获取帮助
>hduser@nodeserver:/opt/hadoop-2.8.0/sbin$ jps
分段错误
和
>hduser@nodeserver:/opt/hadoop-2.8.0/bin$ sudo ./hdfs namenode -format
分段错误
似乎显示Java堆栈的日志疯狂并从512k扩展到5056k。那么,如何重置堆栈呢?
堆: def新一代总计5056K,使用1300K [0x35c00000,0x36170000,> 0x4a950000) eden space 4544K,28%使用[0x35c00000,0x35d43b60,0x36070000) 从空间512K,1%使用[0x360f0000,0x360f1870,0x36170000) 空间512K,0%使用[0x36070000,0x36070000,0x360f0000) 终身代总数10944K,使用9507K [0x4a950000,0x4b400000,> 0x74400000) 空间10944K,86%使用[0x4a950000,0x4b298eb8,0x4b299000,0x4b400000) Metaspace使用18051K,容量18267K,承诺18476K,保留18736K
24小时后更新,我尝试在Java和Hadoop上完全重新安装,但仍然没有运气。当我尝试java -version时,我仍然会遇到分段错误。
出现我有Stack Overflow,没有简单的修复。使用干净的软件更容易重新开始并重建群集。