我正在为从Oracle DB提取数据的不同表并行执行5个sqoop作业。
但是在5个作业中,有些作业没有将上次更新的列值保存在其元存储中,因此对于每次执行,它都会提取相同的数据。
例如,假设我将last-column值设置为'2019-01-01 00:00:00',并且它将数据从'2019-01-01 00:00:00'提取到check_column的MAX_VALUE在表格中,即2019-05-07 23:12:12。
因此,应在其元存储中保存其最后一个值'2019-05-07 23:12:12',但不会保存相同的值。每天我都会从'2019-01-01'获得重复数据。
注意:当我依次执行这些作业时,它的工作正常。
有什么我想念的吗?
请帮助我。