我正在尝试插入分区的Hive表。 地图成功。但减少率达到99％。然后它保持在99％并且没有完成。这持续数小时没有任何结果。
有人可以告诉我可能是什么原因吗？
注意：我尝试插入非分区镶木桌并成功。 但我想创建一个分区表。
在Hue中看到的日志如下：
INFO : 2017-11-21 15:42:56,672 Stage-1 map = 100%, reduce = 99%, Cumulative CPU 76743.67 sec
INFO : 2017-11-21 15:43:57,045 Stage-1 map = 100%, reduce = 99%, Cumulative CPU 76816.54 sec
INFO : 2017-11-21 15:44:57,332 Stage-1 map = 100%, reduce = 99%, Cumulative CPU 76892.15 sec
答案 0 :(得分：0)
如果使用DML中的动态分区逻辑将数据插入到表中，并且数据很大，则会在reducer中产生问题。
如果可能，请尝试通过参数化在DML中手动传递分区值，如果您已经了解任何来源的分区值。
问题的根本原因，Reducer正在执行分区列的“DISTINCT值”。