如何限制地图连接中使用的内存,我该如何控制它。
假设我连接两个巨大的表(每个1000万条记录,10列)。我可以控制那些我可以分配给那份工作的记忆吗?
感谢您的回答
答案 0 :(得分:0)
默认情况下,要在地图连接中使用的表的最大大小(作为小表)是1,000,000,000字节(大约1 GB)
如果你想增加这个,
set hive.auto.convert.join.noconditionaltask=true;
set hive.auto.convert.join.noconditionaltask.size=2000000000;