标签: hadoop hive
我正在分区的外部表(192个分区)上运行insert overwrite查询。
在做解释时我发现主要有两个阶段。
移动阶段大约需要<3小时。
进一步观察我发现,减速器正在写入临时位置,然后在移动阶段它被移动到目标位置。从临时到目标的移动顺序发生。因为我有192个分区和10个减速器。移动所有文件需要3个小时。
有没有办法并行移动?
Hive版本:1.2.1