Hbase从多个读卡器读取多个键

时间:2014-08-12 06:39:14

标签: hbase

我使用的是Hbase 0.94.X和hadoop 1.0.4 我想读取hbase表中的所有行,但是会有多个读者,未来读者数量会增加,读者不知道DB中存在的键,我想确保每个读者只获取一次键处理它,然后要求下一个键

像 k1到我的hbase表中的kn键 读取器1 - >处理后的处理密钥k1获得密钥k3,因为读取器2正在处理k2 Reader2 - >处理后处理密钥k2请求下一个密钥

关于如何实现这一目标的任何指示都将是一个很大的帮助

此致

1 个答案:

答案 0 :(得分:0)

也许你可以使用RowMutations。如果进程触及一行,则它会原子地更改此行中的某些内容,而其他进程会跳过此行。但是,如果我是你,我将使用例如从1到50的rowkey。当读取器进程启动时,reader process1将读取salt1,reader process2将读取salt2等。通过这样做,集群上的负载也将以这种方式平衡