在将增量导入到配置单元

时间:2016-06-14 05:09:13

标签: sqoop

在向Hive进行增量导入以及如何解决此问题时,您遇到任何数据重复问题。

提前致谢。

1 个答案:

答案 0 :(得分:1)

如果表上有主键,则在增量导入时不会出现数据重复

使用唯一键或在表格上定义主键。

- check-column(primarykey / unique key) - >使用它来避免数据重复