如何并行执行hive moveTask?

时间:2017-05-20 18:52:44

标签: hadoop hive

我正在分区的外部表(192个分区)上运行insert overwrite查询。

在做解释时我发现主要有两个阶段。

  1. MR阶段(8个映射器和10个减速器)
  2. 移动舞台
  3. MR阶段在15-20分钟内完成。

    移动阶段大约需要<3小时。

    进一步观察我发现,减速器正在写入临时位置,然后在移动阶段它被移动到目标位置。从临时到目标的移动顺序发生。因为我有192个分区和10个减速器。移动所有文件需要3个小时。

    有没有办法并行移动?

    Hive版本:1.2.1

0 个答案:

没有答案