如何在刷新前使HBASE持久并从Memstore获取通知

时间:2018-06-20 00:51:42

标签: hbase

我正在将带有S3的HBase用作EMR上的数据存储。我发现,当EMR群集崩溃时,不会恢复存储区和WAL中的数据。 EMR将数据存储在EBS中,并且当群集崩溃时,EBS也消失了。因此,我们决定将WAL放在S3上。但是对S3的写入是异步进行的大块操作,因此,如果WAL在高速缓存中时群集崩溃,则无法恢复。我们想使用Hbase作为持久存储。我们想知道我们应该如何解决这个问题。

  1. 我们如何跟踪Hbase中的最新更新记录。
  2. 我们如何知道Memstore中的数据更新不成功。
  3. 我们应该如何配置和调整HBase以获得持久性。
  4. 如果WAL在群集之间不是持久的,那么我可以直接在HFile中编写而不用为每个事件调用WAL了。我知道我们可以针对批量加载执行此操作,但是对于小加载或每次写操作该如何进行。

0 个答案:

没有答案