Sqoop增量导入新记录

Question

我有一个包含1到10的emp_id的表，其中emp_Id = 6不存在，我通过创建Sqoop作业在附加模式上做了增量Sqoop。
在此之后，我想要添加两个新的emp_id来了emp_id=6和emp_id = 12。
现在我的问题是增量sqoop导入emp_id =6还是仅导入emp_id = 12？

Answer 1

如果您已将--check-column emp_id定义为--incremental append（并且您已写入emp_id = 6且其他值为null），则您的作业将只写入emp_id = 12记录。但是如果--check-column参数在现有记录中找不到值6，则作业还会写入emp_id = 6记录。

如果要添加新记录和/或修改现有记录，请考虑--last-value参数。 See this。 注意创建作业时，最后一个值已保存在/ tmp sqoop目录中。在这种情况下，我建议你简单地使用sqoop import，我确认它更好用。