如何使用自由格式查询选项执行Sqoop导入验证

时间:2014-09-08 01:04:31

标签: hadoop sqoop

我想验证Sqoop导入任务后复制的行数。我知道在使用选项--table指定表后,可以使用Sqoop的--validate选项完成此操作。在我的任务中,我使用自由格式查询选项(--query)而不是表格选项( - 表格),当我提供选项时 - 验证它不起作用。

示例:

sqoop import --connect abc.com --table test --validate - >作品

sqoop import --connect abc.com --query" select * from test where / $ CONDITIONS" --validate - >不起作用

请帮忙

1 个答案:

答案 0 :(得分:0)

请查看sqoop validate的定义。运行该命令时,您将看到它不受支持:

运行:

sqoop import --where "INTRVL_DT = To_Date" ... --as-textfile --validate

我们得到输出:

Validation is not supported for where clause but single table only.

我在这里尝试解决这个问题:

Validate a Sqoop with use of QUERY and WHERE clauses

您可以与我联系,我们可以继续努力。