使用Sqoop增量导入作为chunk-wise

时间:2013-05-08 15:47:47

标签: hadoop import hive cloudera sqoop

是否真的可以通过sqoop增量导入导入块数据?

Say I have a table with rowid 1,2,3..... N (here N is 100) and now I want to import it as chunk. Like
1st import: 1,2,3.... 20
2nd import: 21,22,23.....40
last import: 81,82,83....100

我已经阅读了有关增量导入的sqoop作业,并且还知道了--last-value参数,但不知道如何传递块大小。对于上面的例子,这里的块大小是20.

1 个答案:

答案 0 :(得分:1)

我最后编写了一个脚本,该脚本将在每次成功运行sqoop后使用新的where子句修改参数文件。我正在通过Oozie协调员运行。我想使用--boundary-query但它不适用于chunk。这就是为什么我必须做这个工作。有关此解决方法的详细信息,请访问:

http://tmusabbir.blogspot.com/2013/05/chunk-data-import-incremental-import-in.html