使用Hive 0.10和Cloudera CHD4.x时,通过读取命令输出总是可以看到在特定表中插入了多少行。该行看起来像:
Loaded 1234 rows into tablename
虽然不理想(没有查询管理器的编程接口),但它是插入数据量的合理指示。但是在带有Cloudera CDH 5.1的Hive 0.13中,该行没有出现在命令输出中。我也无法弄清楚如何从查询管理器获取导入计数。
如何找出给定查询在给定表中插入了多少行?我想知道访问Hadoop计数器是否可以这样做,但我找不到有关Hive如何使用它们的任何信息。 Thrift界面中似乎没有任何内容可以访问这些统计信息。
基本上我不想对我的源数据发出SELECT COUNT(*),只是为了找出处理了多少行。