Sqoop中的增量加载

时间:2015-02-20 13:09:33

标签: hadoop hive teradata sqoop

我在Teradata有一张表,每天都会加载新数据。

我需要将此数据导入Hive。我尝试使用Sqoop但是如何使用Sqoop进行增量加载?

我检查了Sqoop中可用的增量加载选项

--check-col

这个选项只需要数字和唯一数据,而我的Teradata表没有这样的列

我使用日期栏名--spli-by

在这种情况下,如何对Hive进行增量导入?

请建议

2 个答案:

答案 0 :(得分:2)

如果您使用--incremental lastmodified模式,那么您的--check-column是一个不需要数字或唯一的时间戳。

请参阅:Sqoop incremental imports

答案 1 :(得分:0)

再使用一次" - 追加"检查列之后的命令,以便新数据不会被替换,您可以看到它保存在hdfs中的新文件中而不替换旧文件。