我想知道hbase-0.90.0是否存在与多个客户端同时写入同一行相关的任何已知问题。在我的设置中,有10个节点写入同一个HBase表,有时(很少)我看到数据不被写入表,我记录异常等我看到没有。一种可能性是多个节点同时写入同一行,我想知道是否可能导致此行为。谢谢!
答案 0 :(得分:0)
您使用的是哪个版本的Hadoop - 某些旧版本没有持久同步并且可能会丢失数据:
HBase将丢失数据,除非它在具有的HDFS上运行 持久的同步实现。 Hadoop 0.20.2,Hadoop 0.20.203.0,和 Hadoop 0.20.204.0没有此属性。目前只有Hadoop 版本0.20.205.x或任何超过此版本的版本 - 这个 包括hadoop 1.0.0 - 具有工作,持久的同步[6]。同步必须 通过将dfs.support.append设置为等于true来显式启用 客户端 - 在hbase-site.xml中 - 以及在服务器端 hdfs-site.xml(HBase需要的同步工具是附加的子集 代码路径)。
请参阅here了解所有详情