如何在sqoop中以增量导入方式导入固定数量的行？

Question

我自己学习sqoop，并尝试使用下面提到的代码在本地测试增量导入功能

sqoop import \
--connect jdbc:mysql://localhost/employees \
--username root \
-P \
--query 'select * from employees WHERE $CONDITIONS ORDER BY emp_no LIMIT 1000' \
-m 1 \
--incremental append \
--check-column emp_no \
--target-dir sqoop/import_data/employee_db_import_incremental

上面的脚本导入了前1000条记录，现在我想将后1000条记录追加到现有数据中。怎么做？

Answer 1

您必须指定最后一个值，您需要从中追加记录，假设您的最后一条记录为1000，那么您的命令必须如下所示：

sqoop import \
--connect jdbc:mysql://localhost/employees \
--username root \
-P \
--query 'select * from employees WHERE $CONDITIONS ORDER BY emp_no LIMIT 2000' 
\
-m 1 \
--incremental append \
--check-column emp_no \
--last-value 1000
--target-dir sqoop/import_data/employee_db_import_incremental