将数据插入分区表

Question

我正在尝试将大量数据从非分区表插入分区表。 它运行了6个小时，然后我杀死了工作。

请帮助我在较短的时间内插入数据。

源table(master_history)拥有402133692条记录。

set hive.exec.dynamic.partition=true;  
set hive.exec.dynamic.partition.mode=nonstrict;

insert into table master_partition_tbl partition(logdatetime)
SELECT * FROM master_history;

请帮助我。

谢谢。

Answer 1

最好插入STRICT动态分区模式，然后每天插入，而不要像您所做的那样选择1个巨大的选择。

set hive.exec.dynamic.partition.mode=strict;

insert into table partition (logdatetime="20180101 00:00:00")
select *
from source_table
where logdatetime="20180101 00:00:00"