如何从HBase表中获取数据时检测映射器中的最后一条记录

Question

我正在尝试从我的java映射器中读取HBase表中的记录。我想检测最后一条记录来执行操作。我们如何识别最后一条记录。我有一个零减速机。我无法记录所有记录。

Answer 1

您可以在调用其清理方法时确定映射器何时处理了其最终记录：

<!--
CurrentCulture == 'en-GB'
CurrentUICulture == 'en-GB'
ManagedThreadId == '25'
IsThreadPoolThread == 'True'
-->

https://hadoop.apache.org/docs/r2.6.2/api/org/apache/hadoop/mapreduce/Mapper.html

这使您能够在处理完所有键/值并执行某些操作后确定 per-mapper 。

如果您尝试在不使用reduce阶段的情况下进行聚合并且从HBase读取数据，我会假设您对数据分组有一些保证也会有所帮助。例如，您可以查找进入映射器的密钥更改，并且您知道已收到所有相同的密钥。