使笛卡儿产品在蜂巢中具有多个减速器

时间:2016-12-21 15:48:02

标签: hive

我的查询的简化版本:

set hive.mapred.mode=nonstrict;
set hive.auto.convert.join = false;
set mapred.reduce.tasks=300;

SELECT s.id, w.word
FROM words w JOIN stuff s
WHERE lower(s.text) rlike concat('\\b', w.word, '\\b')

hive 0.13的作用:

Hadoop job information for Stage-1: number of mappers: 445; number of reducers: 1

我认为它使用一个reducer,因为没有ON子句。 (请参阅https://stackoverflow.com/a/15339808/34935。)但是,我无法提供" rlike"在ON条款中。

如何让更多的reducer检查WHERE子句?

0 个答案:

没有答案