我是集群管理员,在这里有100多个HBase区域服务器和50多个表,这些表可以批量加载,Spark Batch,Streaming和Map-reduce应用程序的批量放置。每次我们对RS进行一些维护时,我们都会注意到大多数表在启动RS之后都会得到新的分割,这会增加总区域数。从Hbase博客中,我看到不建议使用200多个区域/ RS。我们运行HDP 2.6.5,因此是HBase 1.1.2版本。所以,我的问题是
我作为管理员可以做什么,以避免这些昂贵的拆分?
我应该尝试在表属性级别(例如splitpolicy,压缩)上解决此问题吗?[注:即使采用恒定的拆分策略,我也确实看到区域在达到最大hfile限制之前就已经拆分了]
这是在HBase 2.0或更高版本中解决的吗?我们增加/减少RS的能力计划取决于集群中区域的数量。
提前谢谢..!
快乐的Hadooping:)
马哈德凡