从Oracle收集数据之后如何在Hive中验证丢失的记录

Question

想知道由于某些问题从Oracle加载数据时如何检查Hive中的丢失记录。

假设：

Oracle记录数：2000
记录数：1990年

如何检查Hive中缺少的10条记录。

Answer 1

通过主键排序从Oracle导出到CSV文件。与HIVE相同。和一个小的UNIX差异。最重要的是，Sqoop不会错过记录，因此您的集成中可能出了点问题。

Answer 2

也许您在oracle中的源表已更新。这样，您就可以为Sqoop进行增量导入。

1. 您拥有什么类型的数据？
2. Oracle中是否有日期字段？

如果是，那么您可以在Hive和Oracle中同时group by year和count(*)。您将看到不匹配的年份，然后使用该年份并通过进行count(*)对每个月进行一次group by month。