什么表大小足够MAPJOIN?

时间:2014-01-27 15:49:25

标签: hive

如何确定表格是否足够小以进行MAPJOIN优化?

我的猜测是我应该看看

du /misc/hdfs/user/hive/warehouse/my_table

如果低于50%(?5%?)的RAM,请使用MAPJOIN

我正在使用hive 0.10。

1 个答案:

答案 0 :(得分:1)

hive-site.xml

  

hive.mapjoin.smalltable.filesize
  默认值: 25000000
  小表的输入文件大小的阈值;如果文件大小小于此阈值,它将尝试将公共连接转换为地图连接。

这是当前版本的Wiki,但我认为此设置可以追溯到0.10。