使用Sqoop2进行增量导入

时间:2015-10-22 07:48:02

标签: sqoop2

我想将MySQL表中的数据导入HDFS。我已经配置了所有内容,并且我能够在sqoop-shell中创建复制数据的简单作业。但是我想每次只复制新记录,但我不知道如何实现这一目标。当我创建作业时,有一个名为“check column”的参数,我有像ID或eventTimestamp这样的列似乎适合那里。但是,在这种情况下,我也应该输入“最后一个值”。我是否必须自己管理这最后一个值,每次创造新的“最后价值”工作?为什么在这种情况下创建一个作业,如果它只使用一次然后必须重新创建? Sqoop不可能通过每次存储新的“最后一个值”并仅导入新记录来管理它吗?此外,当我输入任何内容作为“最后一个值”时,为什么我有此错误消息:“输入的大小超过此输入字段的容差。最大允许大小为-1”?

1 个答案:

答案 0 :(得分:0)

关于"最后一个值的问题"我添加了一个bug: https://issues.apache.org/jira/browse/SQOOP-2640 它现在已经处于固定状态,所以在1.99.7版中应该没问题。