用零停机时间替换hive表中的数据

时间:2018-01-02 23:00:39

标签: sql hive bigdata

我定期收到制表符分隔的数据并将其加载到配置单元表中。

我需要一种方法来在我获得新数据集时重新加载表,没有停机时间。这不起作用:

self._lower_diagonal

1 个答案:

答案 0 :(得分:1)

您可能需要一个临时表,可以使用大量解决方案,这可能很有趣

https://dba.stackexchange.com/questions/141530/when-you-switch-table-a-to-table-b-does-the-index-data-get-switched-as-well

您也可以考虑使用视图在两个在线表之间切换 所以表t将成为:

Tablet TFlip

表TFlop

查看VT - 从TFlip中选择*

加载数据时可以

load data local inpath ... into table TFlop;   // view remain up while loading

并在最后

alter view VT as Select * from TFlop GO

在下一个加载中你将通过加载到表TFlip然后更新视图指向TFlip

来执行oposite