导入时如何在Sqoop中检索失败的数据?

时间:2018-10-14 06:23:39

标签: hadoop hdfs sqoop sqoop2

我已经通过Sqoop将RDBMS的10条记录从RDBMS导入到Hadoop,而第7条记录加载时作业失败,如何在下一次仅检索最后3条记录。有人可以帮我语法吗?

1 个答案:

答案 0 :(得分:0)

您可以使用--last-modified或--incremental-append仅获取这3行,并且只有当您具有该特定行的ID(在您的情况下为第7行)时才能执行此操作。

请查看下面给出的命令,该命令将在特定的时间戳后为您带来新添加的记录。如果您传递的是第7行的ID,则将从该命令中获得下3行。

sqoop import --connect jdbc:mysql://hostname/dbname --username root --password cloudera --table tablename --target-dir /user/cloudera/new_directory_name -m 1 --check-column column_name --incremental append --last-value "2018-10-19 20:46:33"