Hive交换分区vs插入覆盖

时间:2016-11-27 16:06:32

标签: hive

我有2个表srcdest,相同的架构。我想使用dest表上的更新数据覆盖src的分区。

在蜂巢上有两种不同的陈述:

  1. 插入覆盖

  2. Exchange分区

  3. 对于exchange partition它是有问题的,因为某些分区已经存在。(如文档中所述,如果它已经存在则无法进行交换)。我还需要支持并发和原子性,这意味着drop + exchange可能不起作用,但我不确定。

    insert overwrite这是有问题的,因为它需要花费很多时间(复制了大量数据,分区没有热插拔)。

    有没有任何混合方式来解决这个问题?像exchange overwrite或类似的东西?是否有任何计划将该功能添加到配置单元(如果不存在)。

0 个答案:

没有答案