Hadoop context.write（）缓冲区大小

Question

我正在使用context.write()使用puts从Mapper写入HBase。 根据此mailing list，context.write()不会立即刷新并等待缓冲区在与服务器异步设置之前已满。

如何设置Mapper输出的缓冲区大小。意图是通过调整缓冲区大小来减少对HBase表的RPC调用。

Answer 1

HBase客户端缓冲区可以通过参数hbase.client.write.buffer

配置

除了增加客户端缓冲区外，您还可以查看此reference以优化对hbase的写入。