如何避免每次重新启动RS时Hbase区域分裂?

时间:2019-02-20 23:58:04

标签: apache hadoop hbase hortonworks-data-platform

我是集群管理员,在这里有100多个HBase区域服务器和50多个表,这些表可以批量加载,Spark Ba​​tch,Streaming和Map-reduce应用程序的批量放置。每次我们对RS进行一些维护时,我们都会注意到大多数表在启动RS之后都会得到新的分割,这会增加总区域数。从Hbase博客中,我看到不建议使用200多个区域/ RS。我们运行HDP 2.6.5,因此是HBase 1.1.2版本。所以,我的问题是

  1. 我作为管理员可以做什么,以避免这些昂贵的拆分?

  2. 我应该尝试在表属性级别(例如splitpolicy,压缩)上解决此问题吗?[注:即使采用恒定的拆分策略,我也确实看到区域在达到最大hfile限制之前就已经拆分了]

  3. 这是在HBase 2.0或更高版本中解决的吗?我们增加/减少RS的能力计划取决于集群中区域的数量。

提前谢谢..!

快乐的Hadooping:)

马哈德凡

0 个答案:

没有答案