如何在Hive表中插入回溯数据？

Question

我对这项技术不熟悉。我们收到的文件可能包含回溯记录。我们必须从中将数据加载到仅插入的hive表中（在trans_Date上分区）。我需要知道在表中插入记录的机制应该是什么，其中trans_date是后退的。 Trans_date（列）是事务日期，Record_date（列）是记录在表中插入的日期。

Answer 1

您可以通过多种方式实际使用不同的工具。

＆＃xA;＆＃xA;

在新文件目录的顶部创建增量表，或使用 LOAD < / code>命令将文件放入增量表，或者使用 hadoop fs -cp 命令。

＆＃xA;＆＃xA;

嗯，你有一张表现在有增量数据。

＆＃xA;＆＃xA;

下一步是将主表加载到正确的分区＆＃xA;如果只插入无更新，请使用

＆＃xA;＆＃xA;

  INSERT INTO TABLE PARTITION（trans_date）＆＃xA;从incr_table中选择col1，col2，trans_date; - 必要时过滤＆＃xA;  

＆＃xA;＆＃xA;

删除incr_table或仅删除表增量位置中的数据并重新使用该表。或者通过record_date（或file_date）对incr_table进行分区（如果适用），永远不要删除，加载并选择新分区。

＆＃xA;＆＃xA;

如果需要使用增量数据更新旧记录，请参阅此答案： https://stackoverflow.com/a/37744071/2700344

＆＃xA;