选择蜂巢桶的数量

Question

如何确定创建新表时应创建多少桶？

我在下面回答，

  

buckets =（x * Average_partition_size）/ JVM_memory_available_to_your_Hadoop_tasknode

但是只有拥有分区表时，此解决方案才有效。我的表没有任何分区，它应该只包含没有分区的桶？

此致 Prabu

Answer 1

只需使用表格大小而不是平均分区大小。该公式基于INSERT作业中的数据量：如果是分区表，则每个分区有一个，但在非分区表中，您只有一个。