我运行的代码基本上是这样的:
Create table abc as
select A.* from
table1 A
Left outer join
table2 B
on
A.col1=B.col1 and A.col2=B.col2;
table1中的记录数= 7009102 table2中的记录数= 1787493
我的脚本中有类似的6个查询但是我的脚本停留在第4个查询上。我尝试通过tez和mapreduce运行,但两者都有相同的问题。
在mapreduce中,即使在一小时后,它也会停留在地图上0%和减少0%。没有减速器 在Tez,1小时内只有22%。
检查日志后,它会显示许多条目,例如'任务尝试的进度尝试_12334_m_000003_0为:0.0'。
我在tez工作,现在差不多3个小时,工作即将结束,Map-2 Vertice中的2个工作失败。
答案 0 :(得分:0)
Hive使用MapReduce,这是它变慢的主要原因,但是如果你想查找更多信息,请参阅下面的链接 https://community.hortonworks.com/content/supportkb/48808/a-hive-join-query-is-slow-because-it-is-stuck-for.html