Importtsv没有加载所有记录

Question

我在Java类中调用importtsv，由于某种原因，它没有加载所有记录。不确定这是否是一个真正的importtsv问题或我正在做的事情。

详细说明：

我正在尝试在捕获数据时批量加载数据。所以，我正在写入目录中的临时文件而没有其他数据和每X个记录，我调用importtsv将数据加载到HBase中。

我已经改变程序调用“wc -l”来仔细检查我是否在临时文件中放入了正确数量的记录，一切看起来都不错。所以，要么是importtsv出错，要么是因为某些原因导致记录无效，但我不知道记录的位置。

思考？即使我能找到记录错误的地方，那也很棒。

Answer 1

没关系......事实证明我的数据中有重复记录。