为什么sqoop作业没有在metastore中保存最后的增量值?

时间:2019-05-08 16:17:58

标签: hadoop sqoop sqoop2

我正在为从Oracle DB提取数据的不同表并行执行5个sqoop作业。

但是在5个作业中,有些作业没有将上次更新的列值保存在其元存储中,因此对于每次执行,它都会提取相同的数据。

例如,假设我将last-column值设置为'2019-01-01 00:00:00',并且它将数据从'2019-01-01 00:00:00'提取到check_column的MAX_VALUE在表格中,即2019-05-07 23:12:12。

因此,应在其元存储中保存其最后一个值'2019-05-07 23:12:12',但不会保存相同的值。每天我都会从'2019-01-01'获得重复数据。

注意:当我依次执行这些作业时,它的工作正常。

有什么我想念的吗?

请帮助我。

0 个答案:

没有答案