sqoop import - 数据导入之间的作业失败

Question

如果sqoop在大数据导入作业之间失败，会发生什么。在发生作业失败之前，它会将一些数据保留在hdfs上吗？

Answer 1

我认为进出口的工作原理类似于交易。

由于Sqoop将导出过程分解为多个事务，失败的导出作业可能导致部分数据被提交到数据库。

这可能会进一步导致后续作业因某些情况下的插入冲突而失败，或导致其他作业中出现重复数据。

<强>解决方案 您可以通过--staging-table选项指定登台表来解决此问题，该选项充当用于暂存导出数据的辅助表。分阶段数据最终在单个事务中移动到目标表。