如何在配置单元中为左外部联接在内存中缓存最左边的表

时间:2019-03-22 23:10:47

标签: performance hive mapjoin

我有一个大表(1Tb数据),需要与一个较小的表(100k条记录)结合起来

SELECT st.id
FROM small_table st
LEFT JOIN large_table lt
        ON st.id = lt.id

在上述情况下,我无法控制必须将哪个表缓存到内存中。我尝试使用MAPJOIN,STREAMTABLE提示,还尝试使用条件任务大小,小标签大小等参数。位于联接的最左侧,未缓存到内存中

有没有办法控制需要缓存的表

注意:我无法更改桌子的位置或代码:
都没有...

enter image description here

...也不在这里...

enter image description here

使用的参数:

set hive.execution.engine=tez; 
set hive.tez.container.size=4096; 
set hive.merge.mapredfiles=true; 
set tez.shuffle-vertex-manager.min-src-fraction=0.25; 
set tez.shuffle-vertex-manager.max-src-fraction=0.75; 
set hive.exec.dynamic.partition.mode=nonstrict; 
set tez.am.resource.memory.mb=3200 ; 
set tez.am.java.opts=-server -Xmx3200m -Djava.net.preferIPv4Stack=true -XX:+UseNUMA -XX:+UseParallelGC -XX:+UseConcMarkSweepGC ; 
SET hive.auto.convert.join=true; 
set hive.auto.convert.join.noconditionaltask.size=288435456;

0 个答案:

没有答案