我的查询的简化版本:
set hive.mapred.mode=nonstrict;
set hive.auto.convert.join = false;
set mapred.reduce.tasks=300;
SELECT s.id, w.word
FROM words w JOIN stuff s
WHERE lower(s.text) rlike concat('\\b', w.word, '\\b')
hive 0.13的作用:
Hadoop job information for Stage-1: number of mappers: 445; number of reducers: 1
我认为它使用一个reducer,因为没有ON子句。 (请参阅https://stackoverflow.com/a/15339808/34935。)但是,我无法提供" rlike"在ON条款中。
如何让更多的reducer检查WHERE子句?