Hive插件以99％

Question

我正在尝试插入分区的Hive表。 地图成功。但减少率达到99％。然后它保持在99％并且没有完成。这持续数小时没有任何结果。

有人可以告诉我可能是什么原因吗？

注意：我尝试插入非分区镶木桌并成功。 但我想创建一个分区表。

在Hue中看到的日志如下：

INFO  : 2017-11-21 15:42:56,672 Stage-1 map = 100%,  reduce = 99%, Cumulative CPU 76743.67 sec

INFO  : 2017-11-21 15:43:57,045 Stage-1 map = 100%,  reduce = 99%, Cumulative CPU 76816.54 sec

INFO  : 2017-11-21 15:44:57,332 Stage-1 map = 100%,  reduce = 99%, Cumulative CPU 76892.15 sec

Answer 1

如果使用DML中的动态分区逻辑将数据插入到表中，并且数据很大，则会在reducer中产生问题。

如果可能，请尝试通过参数化在DML中手动传递分区值，如果您已经了解任何来源的分区值。

问题的根本原因，Reducer正在执行分区列的“DISTINCT值”。