hbase并发写入一行

时间:2012-10-03 21:51:08

标签: concurrency hbase

我想知道hbase-0.90.0是否存在与多个客户端同时写入同一行相关的任何已知问题。在我的设置中,有10个节点写入同一个HBase表,有时(很少)我看到数据被写入表,我记录异常等我看到没有。一种可能性是多个节点同时写入同一行,我想知道是否可能导致此行为。谢谢!

1 个答案:

答案 0 :(得分:0)

您使用的是哪个版本的Hadoop - 某些旧版本没有持久同步并且可能会丢失数据:

  

HBase将丢失数据,除非它在具有的HDFS上运行   持久的同步实现。 Hadoop 0.20.2,Hadoop 0.20.203.0,和   Hadoop 0.20.204.0没有此属性。目前只有Hadoop   版本0.20.205.x或任何超过此版本的版本 - 这个   包括hadoop 1.0.0 - 具有工作,持久的同步[6]。同步必须   通过将dfs.support.append设置为等于true来显式启用   客户端 - 在hbase-site.xml中 - 以及在服务器端   hdfs-site.xml(HBase需要的同步工具是附加的子集   代码路径)。

请参阅here了解所有详情