如何每天将增量记录从Oracle加载到HDFS，我们可以使用Sqoop或MR Jobs。哪个是首选方法

Question

如何每天将增量记录从Oracle加载到HDFS？我们可以使用Sqoop或MR Jobs吗？

Answer 1

Sqoop正是为此目的而设计的，并将导致执行复制数据工作的MR作业。有几种方法可以确定Oracle表中的新内容，例如使用表的id，或者如果有的话，可能还有修改日期的字段。

与Hadoop中的大多数东西相比，Sqoop非常简单。这是doc的链接 - 搜索“incremental”或从7.2.9开始获取更多信息。 http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html

FYI一旦您正常工作，请查看旨在与Oracle数据库一起使用的Sqoop扩展，该数据库使用一种高效的方法直接传输数据，从而使您的Oracle数据库上的流程更加快速和轻量级。