如何计算从一个Hive表复制到另一个Hive表的行

Question

我正在将数据从一个配置单元表移动到另一个配置单元表。在移动数据时，我添加了几个新列添加分区并应用压缩。

我想知道是否有一种简单的方法可以知道从一个表移动到另一个表的行数是相同的。只是为了验证移动数据操作。 目前我正在对两个表进行统计，因为行数在10 ^ 10之间，这需要花费太多时间。

由于

Answer 1

在从第一个表到第二个表的数据传输过程中触发map-reduce作业时，您可以使用map / reduce中的RECORDS计数器来验证行数。