Sqoop - 增量附加最后一个值存储在哪里

Question

波纹管Sqoop工作完美无缺。每次执行时，当MySQL中有新数据时，最后一个值都会附加。我的问题是

  

1）最后一个值存储在哪个位置？

     

2）我可以浏览最后一个值的位置吗？

     

3）我可以更改最后一个值的位置吗？

sqoop job --create myjob3 \
-- import \
--connect "jdbc:mysql://ip-122-41-11-214:3306/sqoop" \
--username wikihadoop \
--password ABCD1234 \
--target-dir /user/sachin/inDataX3 \
--table sac01 \
--split-by age \
--num-mappers -1 \
--incremental append \
--check-column id \
--last-value 1

我为sqoop

执行了此操作

sqoop job --exec myjob3

Answer 1

1）最后一个值存储在哪个位置？

这取决于您如何运行导入作业：

从命令行
• ：last-value作为输出打印在屏幕上，您可以在下次导入时使用。在这种情况下，Sqoop不会管理它。用户可以跟踪它。
• 来自保存的工作：Sqoop使用它的私有Metastore（在/.sqoop/中）或 共享Metastore（在sqoop-site.xml中指定）以保存作业详细信息。

2）我可以浏览最后一个值的位置吗？

• 对于共享Metastore：您可以使用Metastore浏览器
• 对于私人merastore：您可以尝试sqoop-metastore

3）我可以更改最后一个值的位置吗？

是。您可以更改存储last-value的Metastore的位置。