我已经通过Sqoop将RDBMS的10条记录从RDBMS导入到Hadoop,而第7条记录加载时作业失败,如何在下一次仅检索最后3条记录。有人可以帮我语法吗?
答案 0 :(得分:0)
您可以使用--last-modified或--incremental-append仅获取这3行,并且只有当您具有该特定行的ID(在您的情况下为第7行)时才能执行此操作。
请查看下面给出的命令,该命令将在特定的时间戳后为您带来新添加的记录。如果您传递的是第7行的ID,则将从该命令中获得下3行。
sqoop import --connect jdbc:mysql://hostname/dbname --username root --password cloudera --table tablename --target-dir /user/cloudera/new_directory_name -m 1 --check-column column_name --incremental append --last-value "2018-10-19 20:46:33"