Stage-1的Hadoop作业信息：reducers的数量始终显示1.我无法更改它。我怎么能改变它？

Question

我在hadoop集群上使用Hive。每当我尝试运行一个配置单元查询时，它总是显示为

  

Stage-1的Hadoop作业信息：reducer的数量：1

我使用了以下Hive配置：

hive.exec.reducers.bytes.per.reducer=1000000000
hive.exec.reducers.max=999

请告诉我如何增加减速机数量。

感谢。

Answer 1

确保您已完成以下各点：

您的mapred.reduce.tasks默认为-1。通过将此属性设置为-1，Hive将自动确定减少器的数量。

没有分组的配置单元查询将仅使用1个reducer。

另请注意，当mapred.job.tracker为“local”时，hadoop默认将mapred.reduce.tasks值设置为1。

Answer 2

您是否尝试过设置mapred.reduce.tasks参数？