如果我在hive中的所有列上使用distinct,那么将运行多少个reducer?

时间:2018-05-08 07:16:19

标签: hadoop hive reducers tez

我正在运行一个hive查询,其中distinct应用于所有选定的列,我注意到有几个reducers用于运行相同的查询。任何人都可以解释我背后的原因吗?

 Example query:

> SELECT distinct
       seg.col1,
       seg.col2,
       seg.col3
FROM user.ag_user seg
Where ‘2018-05-06’ between start_date and end_date limit 5;

1 个答案:

答案 0 :(得分:0)

它可能比x查询导致y redurs更复杂

这个答案更详细地介绍了默认情况(比我更好)

Default number of reducers