改进性能窗口功能Hive

Question

我尝试使用窗口函数运行下面的配置单元查询并且它将永远占用。我希望有人能提出一些建议来加快速度。下面的table1有近10亿条记录，table2只有几千条记录。任何提示都非常感谢。

代码：

SELECT up.uid,up.ban,up.ban_pref,
DENSE_RANK() OVER (PARTITION BY up.uid ORDER BY up.ban_pref DESC, bnp.tot_pod DESC) AS rank
FROM table1 AS up
INNER JOIN table2 AS bnp ON up.ban=bnp.ban

Answer 1

这可能已经解决了。但是，我的想法。 1.首先尝试使用地图侧连接完成连接，因为第二个表很小。可以使用Hive.auto.convert.join = true来完成。 2.在下一步中，尝试执行window函数。