如何比较Hive和SQL表

Question

我们创建了一个调度程序，该调度程序从本地sql服务器中提取数据并将其放在HDFS中。现在的问题是，我们需要验证推送的数据是否正确，并且与内部数据一致。 您能否帮助我如何比较这些表及其数据的正确性。任何事情都会有所帮助。谢谢。

Answer 1

您可以使用SQOOP，该SQOOP还支持通过--validate选项在Hive表和数据库之间进行验证。

有关更多详细信息，请参见Sqoop User Guide - Validation。