Sqoop中的增量加载

Question

我在Teradata有一张表，每天都会加载新数据。

我需要将此数据导入Hive。我尝试使用Sqoop但是如何使用Sqoop进行增量加载？

我检查了Sqoop中可用的增量加载选项

--check-col

这个选项只需要数字和唯一数据，而我的Teradata表没有这样的列

我使用日期栏名--spli-by

在这种情况下，如何对Hive进行增量导入？

请建议

Answer 1

如果您使用--incremental lastmodified模式，那么您的--check-column是一个不需要数字或唯一的时间戳。

请参阅：Sqoop incremental imports。

Answer 2

再使用一次＆＃34; - 追加＆＃34;检查列之后的命令，以便新数据不会被替换，您可以看到它保存在hdfs中的新文件中而不替换旧文件。