sqoop-数据导入期间作业失败

Question

万一在大数据导入作业之间Squoop失败，将会发生什么情况。它会在作业失败发生之前将某些数据复制到hdfs上还是完全不复制任何内容？

Answer 1

在--num-mapper大于1的情况下运行该作业时，如果某些映射成功，则某个位置有时会失败，其余的RUNNING映射将被杀死。

假设您使用4个映射器运行了

• MAP-1：成功
• MAP-2：成功
• MAP-3：因MAP-4失败而死亡
• MAP-4：由于某些原因失败

您将在--target-dir中获得MAP-1和MAP-2的数据。

---

如果您的位置顶部有一个配置单元表，并且您正在使用HCatalog选项将数据导入HDFS。然后，蜂巢在表位置内创建.staging目录。

在所有Maps成功之后，配置单元将临时目录重命名为实际目录。

在这种情况下，如果您的作业失败，HCatalog将删除登台目录。