在sqoop导入或导出期间处理错误记录

Question

我查看了sqoop导出操作提供的选项，但找不到任何处理错误记录的选项。例如，偶尔可能存在一个字符，其中在一组巨大的记录中存在一个数字。有没有办法在sqoop中处理这些场景而不会使作业失败并在文件中提供错误记录。

Answer 1

Sqoop目前预计要导出的数据是干净的，并且不提供处理损坏数据的工具。在使用Sqoop导出数据之前，您可以使用MR / Pig / Hive作业清理数据。