使用合并键进行sqoop增量导入

时间:2015-12-30 21:25:26

标签: hadoop merge increment sqoop

使用--merge-key的sqoop增量导入作业似乎有以下两个主要限制

  
      
  1. 不支持嵌套目标目录。
  2.   
  3. 两个阶段不是原子的,即使第二阶段失败,第一阶段的最后一个值也会更新。
  4.   

在1上,如果目标目录具有嵌套的目录,则会抛出错误,指出该路径不是文件。

对此有何想法?

如上所述,

sqoop-merge似乎也有限制1。

0 个答案:

没有答案