为什么蜂巢加入时间过长?

时间:2017-11-29 10:24:35

标签: hadoop hive mapreduce yarn tez

我运行的代码基本上是这样的:

Create table abc as 
select A.* from
table1 A
Left outer join
table2 B 
on 
A.col1=B.col1 and  A.col2=B.col2;

table1中的记录数= 7009102 table2中的记录数= 1787493

我的脚本中有类似的6个查询但是我的脚本停留在第4个查询上。我尝试通过tez和mapreduce运行,但两者都有相同的问题。

在mapreduce中,即使在一小时后,它也会停留在地图上0%和减少0%。没有减速器 在Tez,1小时内只有22%。

检查日志后,它会显示许多条目,例如'任务尝试的进度尝试_12334_m_000003_0为:0.0'。

我在tez工作,现在差不多3个小时,工作即将结束,Map-2 Vertice中的2个工作失败。

1 个答案:

答案 0 :(得分:0)

Hive使用MapReduce,这是它变慢的主要原因,但是如果你想查找更多信息,请参阅下面的链接 https://community.hortonworks.com/content/supportkb/48808/a-hive-join-query-is-slow-because-it-is-stuck-for.html