需要选项来限制地图连接上的配置单元中的内存

时间:2016-10-05 21:27:46

标签: hive

如何限制地图连接中使用的内存,我该如何控制它。

假设我连接两个巨大的表(每个1000万条记录,10列)。我可以控制那些我可以分配给那份工作的记忆吗?

感谢您的回答

1 个答案:

答案 0 :(得分:0)

默认情况下,要在地图连接中使用的表的最大大小(作为小表)是1,000,000,000字节(大约1 GB)

如果你想增加这个,

set hive.auto.convert.join.noconditionaltask=true;
set hive.auto.convert.join.noconditionaltask.size=2000000000;