我有一个大表(1Tb数据),需要与一个较小的表(100k条记录)结合起来
SELECT st.id
FROM small_table st
LEFT JOIN large_table lt
ON st.id = lt.id
在上述情况下,我无法控制必须将哪个表缓存到内存中。我尝试使用MAPJOIN,STREAMTABLE提示,还尝试使用条件任务大小,小标签大小等参数。位于联接的最左侧,未缓存到内存中
有没有办法控制需要缓存的表
注意:我无法更改桌子的位置或代码:
都没有...
...也不在这里...
使用的参数:
set hive.execution.engine=tez;
set hive.tez.container.size=4096;
set hive.merge.mapredfiles=true;
set tez.shuffle-vertex-manager.min-src-fraction=0.25;
set tez.shuffle-vertex-manager.max-src-fraction=0.75;
set hive.exec.dynamic.partition.mode=nonstrict;
set tez.am.resource.memory.mb=3200 ;
set tez.am.java.opts=-server -Xmx3200m -Djava.net.preferIPv4Stack=true -XX:+UseNUMA -XX:+UseParallelGC -XX:+UseConcMarkSweepGC ;
SET hive.auto.convert.join=true;
set hive.auto.convert.join.noconditionaltask.size=288435456;