在sqoop import语句中使用Append和last modified

Question

我们正在使用sqoop将数据从Oracle数据库提取到HDFS。人们习惯于定期更新和添加新行到SQL表。我知道sqoop增量导入--append和--last modified选项。

我的问题是我们是否可以在同一个导入语句中使用这两个选项？

例如，

sqoop --incremental import --lastmodified --append --check-column 'lastmodified' --check-column 'id' --lastvalue '2017-09-22-123456' --lastvalue 100

或者我们需要单独使用？还是其他更好的方法？

Answer 1

我自己找到了答案。

lastmodified可以根据上次修改的列来处理更新和新添加的行。在这种情况下无需使用Append。