蜂巢卡住查询,可能是什么问题?

时间:2019-04-12 10:32:40

标签: ubuntu hadoop hive yarn

我已经安装了Hive,它可以正确执行基本查询,但是对于诸如distinct之类的查询却陷入困境。转到用于检查问题的链接时,它会显示

  

已接受:等待AM容器被分配,启动并在RM中注册。

作为YarnApplicationStage。

我也尝试通过增加YARN调度程序容量的百分比来更改yarn-site.xml。但是没有任何效果。它似乎仍然停留在同一步骤。我已附加了yarn-site.xml代码,应用程序屏幕截图和配置单元屏幕截图。也没有不正常的节点,并且该节点的屏幕快照已附加。

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>mapreduce.nodemanager.aux-services.mapreduce_shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>127.0.0.1:8032</value>
</property>
<property>
<name>yarn.scheduler.capacity.maximum-am-resource-percent</name>
<value>1.0</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>4096</value>
<description>Physical memory, in MB, to be made available to running containers</description>
</property>   
</configuration>

错误图像按以下顺序显示,

配置卡住错误

应用程序管理器

节点详细信息

纱线节点管理器日志 hive stuck error

Application manager

Nodes details

[Yarn Nodemanager Log 4 [Yarn Node Manager Log 5

2 个答案:

答案 0 :(得分:0)

您的群集指标显示您没有vcore,内存和活动节点,因此这意味着您无法执行任何处理,除非将Node Manager添加到群集中。

资源管理器是调度程序,但是节点管理器提供计算资源。

执行DISTINCT时看到此信息的原因是Hive可以处理某些查询而不会触发MapReduce作业。

参考文献

答案 1 :(得分:0)

我解决了这个错误。问题出在etc / hosts文件上。由于蜂巢无法正常运行,我的系统IP已更改。