sqoop中的增量更新

Question

您好我通过sqoop连接器将数据从mysql加载到hdfs。现在如果更新现有数据之间的行，是否有任何查询来更新sqoop中现有行的数据值。我知道增量更新？增量更新还会更新现有行吗？我是sqoop的新手吗？

Answer 1

是的，但在执行增量导入时应使用lastmodified模式。根据{{​​3}}：

  

调用Sqoop支持的备用表更新策略   最后修改模式。您应该在源表的行时使用它   可以更新，并且每个这样的更新将设置a的值   最后修改的列到当前时间戳。行检查   column保存的时间戳比指定的时间戳更新   --last-value被导入。

     

在增量导入结束时，应该是值   指定为后续导入的--last-value打印到   屏幕。运行后续导入时，应指定   --last-value以这种方式确保您只导入新的或更新的数据。这是通过创建增量导入自动处理的   作为保存的作业，这是执行a的首选机制   经常性增量导入。请参阅稍后有关已保存作业的部分   本文档了解更多信息。

请注意，此模式需要一个包含日期值的列（例如date，time，datetime和timestamp）。

documentation使用merge-key显示现有值的替代导入策略。