sqoop中的last-value（增量导入）

Question

sqoop import --connect \\
jdbc:mysql://localhost:3306/ydb --table yloc --username root -P --check-column rank --incremental append --last-value 

我们不知道上一个表的最后一个值。我该如何编写查询？

Answer 1

你可以尝试两种方法来解决这个问题。

1. 查询表并获取最后一列的最大值。
2. 在sqoop中创建一个作业并将该列设置为增量作业并继续前进，您的作业将逐步运行

Answer 2

• 转到您的密码
• cd .sqoop
使用vi或
• 打开文件 metastore.db.script 您最喜欢的编辑器。
• 搜索 incremental.last.value

应该是

INSERT INTO SQOOP_SESSIONS VALUES('incimpjob','incremental.last.value','2018-09-11 19:20:52.0','SqoopOptions')

注意：我假设您已经创建了一个Sqoop作业。 “ incimpjob”是我的工作量的名字。