为什么sqoop增量作业没有在metastore中保存最近更新的值?

时间:2019-05-06 14:56:40

标签: hadoop sqoop sqoop2

我正在使用sqoop将数据从Oracle导入到HDFS。

我每天要导入约30张桌子(增量)。

今天,我刚刚发现我的sqoop工作没有将最新更新的值保存在metastore中。每天使用保存列值进行增量导入。

以下是最近两天的日志:-

2019年5月5日-

19/05/05 01:37:10 INFO tool.ImportTool: Lower bound value: 
TO_TIMESTAMP('2019-04-26 21:25:19.0', 'YYYY-MM-DD HH24:MI:SS.FF')
19/05/05 01:37:10 INFO tool.ImportTool: Upper bound value: 
TO_TIMESTAMP('2019-05-04 21:25:25.0', 'YYYY-MM-DD HH24:MI:SS.FF')

2019年5月6日-

19/05/06 01:37:34 INFO tool.ImportTool: Lower bound value: 
TO_TIMESTAMP('2019-04-26 21:25:19.0', 'YYYY-MM-DD HH24:MI:SS.FF')
19/05/06 01:37:34 INFO tool.ImportTool: Upper bound value: 
TO_TIMESTAMP('2019-05-05 21:25:23.0', 'YYYY-MM-DD HH24:MI:SS.FF')

在这里您可以看到其使用的是最近更新的2019-04-26 21:25:19.0值。它将使我的目的地中的数据重复。

那我该怎么做才能解决这个问题?

任何对此的帮助将不胜感激。

谢谢

0 个答案:

没有答案