标签: sqoop
在向Hive进行增量导入以及如何解决此问题时,您遇到任何数据重复问题。
提前致谢。
答案 0 :(得分:1)
如果表上有主键,则在增量导入时不会出现数据重复
使用唯一键或在表格上定义主键。
- check-column(primarykey / unique key) - >使用它来避免数据重复