区域服务器终止后丢失基表数据

时间:2018-05-17 21:46:00

标签: amazon-s3 hbase emr region

我遇到HBase群集问题。

我在EMR emr-5.8.0上托管了一个带有Phoenix的HBase集群,并将其存储为S3。我有1个主站和5个从站4.x大节点。在区域服务器死亡后查询表时我丢失了数据。我只面对存储模式为S3时遇到此问题,但HDFS工作正常。以下是我遵循的步骤。

  1. 使用hfs复制工厂启动集群为3。
  2. 使用Phoenix创建表并加载数据。
  3. 交叉检查我加载到表格中的数据,然后查看数据。
  4. 通常终止了EC2机器,它是集群的一部分,意味着杀死区域服务器。
  5. 我可以看到EMR调整大小并启动​​新节点。
  6. 当我在整个群集稳定后查询表格时(通常需要5-10分钟),我看到丢失一些死亡RS上的数据。
  7. 我相信HBase会在新节点启动后重放WAL,我也可以在HDFS新RS目录上看到WAL文件。但不知怎的,我没有看到表格中的完整数据。

    你可以告诉我可能会出错的地方吗?如果我必须设置任何属性,请告诉我。

    如果您需要,我很乐意提供更多详细信息。

0 个答案:

没有答案