Sqoop工作情报

Question

在一种情况下，如果有一个单独的sqoop作业可用于一次导入250行数据，然后再次导入250行数据，那么有什么方法可以知道sqoop作业的哪个执行导入了哪些数据？

Answer 1

每个sqoop job都会创建一些part-m文件，文件数取决于  在映射器上。因此，您可以比较这些文件的创建时间。

否则，如果您知道所需的sqoop job的ID（例如 JOB ID ：  1234567891234_4201），您可以找到作业的log_file。

通过色相导入数据

查看文件，然后尝试找到Sqoop command arguments:部分。  您将看到由您执行的 sqoop命令。

通过Sqoop命令行导入数据

查看文件，然后尝试找到Processing file部分。   您将看到通过搜索 JOB创建的part-m文件的名称。   ID 。