多TableInputFormat比较2个表约80分钟

Question

我正在使用Hbase MultiTableInputFormat来比较2个表：Table1（700万），Table2（3000万）。

在驱动程序中，我正在传递扫描（没有任何过滤器）。在我的映射器中，我正在进行比较并在Reducer中编写摘要。

特定于此方案的任何设置可能会加快此过程。感谢。

Answer 1

您是否使用过扫描程序缓存，它可以提高性能 - 示例 - scan.setCaching（1000）;