增量导入没有HDFS主键的Oracle表

时间:2018-04-17 11:30:01

标签: hadoop sqoop

我有Oracle数据库,其中有近300个表,其中200个表没有任何主键,很少有表具有复合主键。我的要求是以增量方式将所有表数据导入HDFS。能告诉我如何使用Sqoop实现这一目标吗?如果建议任何其他选项,那将会很有帮助。

1 个答案:

答案 0 :(得分:1)

不幸的是,由于无法识别更新的行(表明您没有跟踪更新时间戳),因此几乎不可能使用增量加载来捕获更改。

一些可能性:

  1. 添加时间戳
  2. 满载
  3. 使用rownumber识别新记录,不处理更新记录