匹配Hive表和Netezza表

Question

这是我在这里的第一个问题，如果你们能帮助我，我将非常感激。

我运行了一个sqoop导入，将表从Netezza转移到Hive。现在我必须将Netezza表中的记录与Hive表匹配，以检查所有记录是否已成功导入到配置单元中。我需要确保一个表的每个记录与另一个表匹配，并找出不匹配的记录（如果有的话）。我的项目负责人建议我使用脚本来过滤不匹配的记录并插入到新表中。 （按唯一键加入两个表，并使用'where'过滤不匹配的记录）。问题是我是Hadoop的新手，不知道如何去做。

有人可以帮忙吗？

Answer 1

首先，您可以运行SELECT查询来计算导入的Hive表上的rec数。

select count(*) from hive_table;

如果Netezza表和hive表之间的计数不匹配，则需要首先检查在Sqoop Import期间生成的日志。这将让您深入了解未加载rec的原因。