运行Hive查询时,Hadoop服务在一个或多个数据节点上关闭

时间:2016-12-12 05:55:27

标签: hadoop2

突然之间,在工作正常之后,现在我运行一个简单的配置单元查询,如:

select MAX(temp) from weather where USAF=400010;

Hadoop职位信息显示:

Hadoop job information for Stage-1: number of mappers: 11; number of reducers: 0
2016-12-10 04:10:09,211 Stage-1 map = 0%,  reduce = 0%
2016-12-10 04:10:31,983 Stage-1 map = 14%,  reduce = 0%, Cumulative CPU 37.03 sec
2016-12-10 04:10:33,049 Stage-1 map = 24%,  reduce = 0%, Cumulative CPU 41.24 sec
2016-12-10 04:20:44,396 Stage-1 map = 0%,  reduce = 0%
2016-12-10 04:21:44,883 Stage-1 map = 0%,  reduce = 0%
2016-12-10 04:22:45,197 Stage-1 map = 0%,  reduce = 0%
2016-12-10 04:23:45,488 Stage-1 map = 0%,  reduce = 0%
2016-12-10 04:24:45,844 Stage-1 map = 0%,  reduce = 0%
.
.
.

它保持在map = 0%。

更复杂的查询已成功完成。

我注意到,对于我来说,我所拥有的三个数据节点中的一个(或多个)节点上的Hadoop服务在“map = 0%”开始出现时停止运行。因此,如果我在这些数据节点上jps,我什么也得不到。

可能是什么原因?或者至少,我在哪里可以找到该日志?

1 个答案:

答案 0 :(得分:0)

您可以查看应用程序日志吗?默认情况下,它可以在http://your _name_node_url:8088 / cluster中找到。单击特定应用程序并获取日志。

可能存在特定节点发生故障的情况。可能是由于各种原因(如内存,网络,时间戳等)。